İsmail Paşa Köşkü, Altunizâde Camii karşısında ve Küçük Çamlıca Caddesi ile Koşuyolu'nun birleştiği köşede idi. Haremli ve selâmlıklı, bu iki köşk geniş bir bahçe içinde olup harem kısmı Küçük Çamlıca Caddesi tarafında, selâmlık kısmı ise, Koşuyolu üzerinde ve hamamın karşısında idi. Bugün de mevcut olan selâmlık kısmı üç kat olup iç taksimatı ve tezyinatı bakımından Çamlıca'nın en güzel yapılarından biri idi. Bu köşkün sağ tarafındaki geniş arazi 1974 tarihlerinde İsmail Paşa'nın varisleri tarafından satılarak yerine İşçi Sigortaları Hastahanesi ve Huzur Evi binası yapılmıştır. Köşk müştemilâtının büyük ahşap kapısı ve çıkmalı ön cephesi hâlâ durmaktadır. İsmail Paşa, kendi ismi ile anılan camiini 1282 (1866) tarihinde mektep, meşruta, hamam ve çeşme ve çarşı ile beraber yaptırdığına göre, ilk köşkünü de bu sıralarda inşa ettirmiş olmalıdır. İsmail Paşa'nın XIX. yüzyıl ikinci yarısında yaptırmış olduğu Altunizâde semti, Çamlıca'nın en hareketli ve meşhur yerlerinden biri idi. Burada bir terzi, bir kolacı, iki aşçı ve iki kahvehane bulunuyordu. Ayrıca hamamın iki yanında, meşrutalar altındaki dükkânlarda bir tuhafiyeci, bir manifaturacı, bir kasap ve bir manav vardı. Camiin önünde ve tam köşede ise yarım ay şeklinde bir sebzeci yer almıştı. Camiin karşısındaki sedli kahveye, devrin bir çok tanınmış kimseleri gelirdi. Karşı köşede bir kahvehane daha vardı. Semt, 1915 tarihinden sonra yavaş yavaş eski canlılığını kaybetmiş ve bugünkü ıssız durumuna bürünmüştür.