Saray Selimiye Kışlası civarında idi. Hafız İsmail Paşa, "Altun Nişanlı namındaki hasekinin oğludur. 1171 (1757-58)'de doğmuş"tur. Bostancı Ocağı'na kayd olunmuştur. Yoluyla haseki ve sonra bostancıbaşı oldu. 20 Şaban 1219 (24 Kasım 1805)'da vezaretle kaptan-ı derya ve 24 Muharrem 1220 (24 Nisan 1805)'te de sadrazam olmuştur. Daha sonra Boğaz muhafızı olan İsmail Paşa Konya valisi iken orada 15 Şaban 1222 (18 Ekim 1807) tarihinde vefat etmiştir. "Hırs ve kinci bir kimse" olan Paşa'nın dokuz yıldan beri Sadaret Kethüdalığı görevini büyük bir başarı ile yürüten İbrahim Nesim Efendi ile olan sürtüşmeleri devletin başına bir çok gaileler açmıştır. İsmail Paşa'nın ölümü üzerine Saray, oğlu müderris Mehmet Bey'in (öl. 1219/1804-5) çocukları ile diğer oğlu Mehmet Necip ve Lâtif Beyler'e intikal etmiş ve bunlar da sarayı Kadı Abdurrahman Paşa'ya kiralamışlardır. Selimiye Camii'nin inşası sırasında, 1800-5 tarihlerinde yapıldığı sanılan bu muhteşem sarayı; 17 Rebiyülevvel 1222 (25 Mayıs 1807) günü meydana gelen Kabakçı Mustafa İsyanı ve ardından Sultan III. Selim'in 28 Temmuz 1808'de şehid edilmesi ve daha sonra da Alemdar Mustafa Paşa'nın şahadeti üzerine, 25 Ramazan 1223 (18 Kasım 1808) Cuma günü asi yeniçerilerin Selimiye Kışlası'nı ve mahallesini yaktıkları sırada, diğer evler gibi, evvelâ yağma ve sonra da yakmışlardı. Kadı Abdurrahman Paşa, Konya'dan Üsküdar'a 14 Şaban 1223 (5 Ekim 1808)'de geldiğine göre burada 42 gün oturmuş demektir.