Saray, Haydarpaşa Sahrası'nın doğu tarafında, İbrahim Ağa Camii'nin sağ, Ayrılık Çeşmesi'nin de sol tarafındaki tepe üzerinde idi. Arkasında, Acıbadem sırtlarının uzandığı sarayın, Kanunî Sultan Süleyman tarafından torunu İsmihan Sultan'a düğün hediyesi olarak verildiği veya Sokollu tarafından yaptırıldığı ileri sürülmektedir. 952 (1545) tarihinde doğan, Esmihan ismiyle de anılan Sultan, 969 (Ağustos 1562)'de 16 yaşında bulunduğu halde Sokollu Mehmet Paşa ile evlendirilmiştir. Düğünden sonra bir müddet bu sarayda oturan İsmihan Sultan, 10 Şaban 993 (7 Ağustos 1585) tarihinde vefat etmiş ve saray da, padişah hasları arasına girmiştir. Daha sonra saray, Acıbadem'den Küçük Çamlıca'ya kadar uzanan geniş saha ile birlikte Sultan III. Selim (1789-1807)'in malı olmuş ve o da, bu arazinin güney kısmını kendi baş imamına ihsan etmek suretiyle semtin, Hünkâr İmamı ismiyle anılmasına vesile olmuştur. Hadîka yazarı, yukarıda yeri belirtilen yamaçta bir sarayın bulunduğunu şu satırlarla belirtmektedir: "İbrahim Ağa Çayırı Mescidi'ne yakın bir yerde, Ağa Bağı denmekle meşhur bağda bir kasrı hümâyun" bulunuyordu. Gümrükçü Bağı Kasrı ismiyle de bilinen bu sarayın yanındaki meydanda Sultan II. Mahmut, oğlu Sultan Abdülmecit için, 1830 tarihlerinde mektebe başlama töreni yaptırmıştı. Yine aynı Hükümdar, Paşa Baba'nın muhteşem geçit resmini buradan izlemiş ve Sultan Abdülmecit de, kızkardeşi Adile Sultan'ın 1845 tarihindeki düğünü sırasında ecnebi seŞrlerin bir kısmını bu sarayda ağırlatmıştı. Sultan Abdülaziz devri (1861-1876)'nde artık mevcut olmayan bu yapının yeri, Sadrazam Mithat Paşa'ya intikal etmiş o da arsasına ahşap, üç katlı iki köşk yaptırmıştı. Paşa'nın 1884'te öldürülmesi üzerine elden çıkan köşk Sokollu ailesinden Hikmet Bey'in tasarrufuna geçmiştir. Sarayın bulunduğu yerin yan tarafındaki sokak hâlâ 'Saray Ardı' adını taşımaktadır. Mithat Paşa'nın yaptırmış olduğu köşk, İbrahim Ağa Deresi, İbrahim Ağa Çeşmesi, Saray Ardı sokakları ve Kadıköy-Acıbadem Yolu ile çevrili geniş bir alanı kaplayan bir arazi içinde idi. Etrafını yüksek bir duvarın çevirdiği bahçeye, İbrahim Ağa Çeşmesi Sokağı'na açılan büyük, yüksek, saçaklı ahşap bir kapıdan girilirdi. Bu kapı, sokağa uzanan, iki tarafı ağaçlarla bezeli bir yolun nihayetinde bulunuyordu. Yolun sağ ve solunda eskiden bağ olan bostanlar vardır. Köşkün seyis odaları ile ahırların duvar bakiyeleri elan sol taraftaki bostanın yanında görülmektedir. Alt kısmı kârgir, üstteki iki katı ahşap olup geniş saçakları vardı. Mermer merdivenleri bahçe kapısının karşısında bulunuyordu. 34 odasının bazılarının tavanlarına yağlı boya resimler yapılmıştı. Daha sonra, Şehzade Ziyaeddin Efendi'ye ihsan edilen köşk harem ve selâmlık bölümlerinden oluşuyordu. Haydarpaşa Çayırı tarafındaki selâmlık bölümü, daha sonra, Anadolu Lisesi olmuş ve 1975 senesinde de yıktırılmıştır. Yerine bir çok apartmanlar yapılarak bir mahalle oluşmuştur. Şimdi yalnız harem kısmı mevcuttur. Meşhur Hababam Sınıfı Şlmi burada çevrilmiştir. Şehzade Ziyaeddin Efendi, Sultan Reşat'ın oğludur. Annesi Kamres Kadın'dır. 2 Receb 1290 (25 Ağustos 1873)'te doğdu. 5 Ocak 1898'de Pernian Hanım'la evlendikten sonra boşanmış, 16 Ağustos 1903'te Ünsiyar Hanım, 18 Ocak 1907'de Perizad Hanım ile evlenmiştir. Babasının 5 Haziran 1911'de çıktığı Rumeli gezisine, Şehzade Ömer Hilmi Efendi ile birlikte katılmış, aynı yıl Hindistan'a gitmekte olan İngiliz Kralı V. George'u karşılamak üzere Mısır'a gönderilmiştir.