Bu muhteşem yapı topluluğu, Paşakapısı mevkiinde ve Üsküdar Paşakapısı Ceza Evi, Üsküdar Adliyesi, Paşakapısı Orta Okulu ve Üsküdar Lisesi'nin üzerinde bulunduğu geniş alanı kaplıyordu. Etrafında bir çok müştemilât binasının bulunduğu bu konak, harem ve selâmlık kısımlarından oluşuyordu. Üsküdar'daki en meşhur ve en büyük bu ahşap konakların, çok güzel bir manzarası vardı. Konak, Sultan I. Mahmut (1730-1754) devrinin şeyhülislâmlarından Dürrî (inci gibi parlayan) Mehmet Efendi tarafından yaptırılmıştır. Mehmet Efendi, 31 Ekim 1734 ve 13 Nisan 1736 tarihleri arasında bir buçuk yıl meşîhat makamında bulunmuş ve fetvalarına imza atamayacak kadar hasta ve alîl olduğundan vazifesinden af edilerek bu konağına çekilmiş ve kısa bir müddet sonra 1149 (1736-37) tarihinde vefat ederek Karacaahmet Mezarlığı'na gömülmüştür. Kabri, Miskinler Tekkesi'ne giden bulvar üzerinde, İsa Ağa Çeşmesi'nin sol gerisindedir. Dürrî Mehmet Efendi, 1736 tarihinde bu konakta vefat ettiğine göre, yapıyı, İstanbul kadısı bulunduğu sıralarda yani 1132 (1719-20) tarihlerinde yaptırmış olmalıdır. Mehmet Efendi'den sonra gelen evlâdı ve ahfadı ilmiyenin kibar bir ailesini oluşturarak Dürrizâdeler diye meşhur olmuşlardır. Dürrî Mehmet Efendi'den sonra oğlu Mustafa Efendi, 26 Temmuz 1756 - 18 Şubat 1757; Mustafa Efendi'nin oğlu Atâullah Efendi, 19 Mayıs 1783 - 31 Şubat 1785; Mustafa Efendi'nin diğer oğlu Mehmet Arif Efendi, 22 Ağustos 1785 - 10 Şubat 1786 ve 12 Temmuz 1792 - 30 Ağustos 1798; Arif Efendi'nin oğlu Abdullah Efendi, 22 Kasım 1808 - 22 Eylül 1810 ve 12 Haziran 1812 - 22 Mart 1815 tarihleri arasında; Kazasker Dürrizâde Mehmet Efendi'nin oğlu, Abdullah Efendi, 5 Nisan 1920 - 30 Temmuz 1920 tarihleri arasında şeyhülislâm olmuşlardır. Dürri Mehmet Efendi Konağı'nın yakınında, 1169 (1755-56) tarihinden bir müddet evvel yıktırılan Üsküdar Sarayı'nın bulunması burada veya bu yerin civarında eskiden beri bir Paşakapısı/Asafhane'nin bulunabileceğini akla getirmektedir. Padişahların tenezzüh yerlerindeki kasır ve sarayları yanında birer 'paşakapısı'nın bulunduğu bilinmektedir. Örneğin, Boğaziçi'nde, Paşabahçe mevkiinde, Sultaniye Çayırı'ndaki Hünkâr Sahilsarayı yanında böyle bir 'paşakapısı'nın bulunduğunu, Şemdânîzâde Süleyman Efendi'nin tarihinden öğreniyoruz. Şeyhülislâm Arif Efendi'nin oğlu Abdullah Efendi 1238 (1822) tarihinde vefat ederek babası gibi ceddi Dürrî Mehmet Efendi'nin yanına gömülmesinden bir müddet sonra konaklar istimlâk edilerek, 26 Muharrem 1248 (25 Haziran 1832) yılında kabul edilen Müşirlik Dairesi kurulmuş ve 1251 (1835)'te de burada "Anadolu RediŞ Ser Askerliği" tesis edilerek 'Bab-ı Ser-askeri-i Anadolu' adı verilmişti. Mutasarrışığın tesis edilmesiyle de bu konaklardan biri mutasarrıfa, diğeri de Şer'iye Mahkemesi'ne verildi. 1263 (1847) tarihinde Mutasarrı şık binasının yerine Paşakapısı Mektebi Rüşdiyesi'nin yaptırılması üzerine Mutasarrışık, Doğancılar Parkı karşısında bugün SSK Dispanseri'nin bulunduğu yerdeki büyük ahşap konağa taşınmıştır. Bu konakta Mithat Paşa'nın eniştesi Tosun Paşa'nın Mutasarrıf olarak vazife gördüğü bilinmektedir.