Mektep, İmrahor Semti'nde ve bu semte ismini veren camiin, 1141 (1728-29) tarihinde yaptırılan çeşme ile 1007 (1598-99) tarihinde yaptırılan Ayşe Sultan Çeşmesi ve darü'l-kurrası'nın karşısında ve Doğancılar Caddesi ile Hafız Ali Paşa Sokağı'nın birleştiği yerde ve sokağın sol köşesindedir. Okul, taş bir kaide üzerine oturtulmuş olup, üst kısmı, üç sıra ince tuğla ve bir sıra kesme taştan yapılmıştır. İki odası bulunan yapının çatısı ahşap ve kirpi saçaklıdır. Alt pencereleri düz, üst pencereleri ise sivri kemerlidir. Doğancılar Caddesi'ne açılan bir kapıdan evvela bir avluya girilir. Hiç bir yerinde kitâbesi yoktur. Mimar Sinan'ın eserlerini belirten kitaplarda ismi olmadığı halde, onun bir Sinan yapısı olduğu söylenebilir. Mektebin hangi tarihte yapıldığı belli değildir. Rüstem Paşa, Kanunî Sultan Süleyman'ın sadrazamı olup ilk defa 1544-1553 ve sonra 1555-1561 tarihleri arasında olmak üzere iki defa sadaret mevkiine getirilmiş ve bu görevde bulunduğu sırada 1561 tarihinde vefat ederek Şehzadebaşı Camii hazîresindeki türbesine gömülmüştür. İlk görevden ayrıldıktan sonra, bir müddet Sultantepe'de, eşi Mihrimah Sultan'a ait olan muhteşem sarayda oturduğu bilinmektedir. Rüstem Paşa'nın Üsküdar'da bir çeşmesi ve bir de kendi adına yaptırdığı saray vardır ki, mektebin hemen arkasında Oyma Saray çıkmazı ile Hafız Ali Paşa Sokağı arasında ve bugün çocuk parkı yapılan yerde idi. Saray ve mektebin 958 (1551) tarihinde, Kanunî tarafından Üsküdar Sarayı'nın Mimar Sinan'a yaptırıldığı sırada inşa olunduğu sanılmaktadır. Rüstem Paşa'nın Taşçılar Camii yanına yaptırdığı çeşmesi de 952 (1545-46) tarihlidir. Bu çeşme ve sarayı bahsine bakınız. Mektep alt üst pencerelerden ışık alır. Alt pencereler klâsik demir parmaklıklıdır. Binann dar olan cephesinde ortada bir niş, iki yanda ise dolap yerleri vardır. Nişli bölümün karşısındaki birinci bölümün sokak tarafı hariç, iki duvarı bağdadîdir. Bu kısmın, yıkıldıktan sonra yapıldığı sanılmaktadır. Mir'at-i İstanbul yazarı, Mihrimah Sultan Mektebi dediği Rüstem Paşa Mektebi civarında başka bir "iptidaî mektebin" daha bulunduğunu bildirmektedir. Bir tesadüf eseri olarak bu mektep de 1299 (1881)'de başka bir Rüstem Paşa tarafından yaptırılmıştır. Zengin bir kimse olan bu Rüstem Paşa, Diyarbekirli olup 1299 Saferinde (Ocak 1882) Üsküdar'daki konağında vefat ederek Merkez Efendi Mezarlığı'na gömülmüştür. Vehib Paşa ile Kani Paşa bu zatın oğullarıdır. Diğer bir Rüstem Paşa için Nasuhî Tekkesi Camii bahsine bakınız. Mektep 1315 (1897)'de onarılmıştır. Evkaf İdaresi Kataloğunda Cağalzâde Mektebi adı ile kaydedilmiştir.