Mimar Sinan yapısı olduğu tahmin edilen bu saray, Doğancılar Camii'nin kuzeyinde ve bugünkü Üsküdar İtfaiyesi'nin bulunduğu yerde idi. Evliya Çelebi, bu saraydan "Doğancılar yakınında Hacı Paşa Sarayı" diye söz eder. Saray ve bahçesinin yanında, sonradan Ayşe Sultan'a intikal etmiş bulunan Rüstem Paşa Sarayı vardı. Bu iki sarayı birbirinden ayıran kesme taş ve ince tuğla hatıllı bir duvar parçası günümüze kadar gelebilmiştir. Bu iki sarayın etrafı Sümbülzâde Sokağı, Davutoğlu Sokağı ve Doğancılar Caddesi tarafından çevrilmişti. Hacı Ahmet Paşa Sarayı, Doğancılar Tepesi'nin yüksek bir yerinde bulunduğundan Boğaziçi, Haliç ve İstanbul'a bakan fevkalâde güzel bir manzarası vardı. Bahçesi, saraya göre seviye bakımından altta bulunduğundan ikisi arasına kesme taş bir istinat duvarı yapılmıştır ki bugün de mevcuttur. Sol taraftaki bir merdivenden bu bahçeye inilmektedir. Doğancılar Caddesi'ne açılan ve bahçe kapısının üzerinde bulunduğu çıkmaz sokak bugün hâlâ Hacı Ahmet Paşa Çıkmazı adını taşımaktadır. Sarayın yerine XIX. yüzyıl sonlarında Safvet Paşa Tekkesi kurulmuş ve daha sonra da 1940 tarihlerinde Üsküdar İtfaiyesi binası yapılmış ve alt bahçe de İstanbul Belediyesi'ne ait atlı çöp arabalarına tahsis edilmiştir. Hacı Ahmet Paşa Türbesi, hamamı ve mescidi bahislerine bakınız. Ahmet Paşa'nın, ismi bilinmeyen mevkufatçı oğlu 1062 (1652) senesi başlarında İstanbul'dan sürülmüştü. Naimâ Tarihi'nde: "Paşazâde, Hacı Paşa oğludur ki, Üsküdar'da saray gibi miras kalmış bir hanesi vardır, havuz şadırvan, renkli mermer ve acaip yapılışlı ve fevkalâde sanatkârane idi" demekte ve "miras yedi sefihler kaidesince baştan başa israfata sarf eyledikten" sonra "İstanbul'a gelüb kötü hale düşmüşken Musahib Hoca Reyhan Ağa ile eskiden hukuku olmağla mevkufatçı oluvermiş idi."