Tophanelioğlu'nun bu en meşhur köşkü, semte ismi verilen 1140 (1727) tarihli meydan çeşmesinin sol tarafında, Kısıklı Caddesi üzerinde idi. Civarında küçük bir çarşı ve "eyyam-ı sayfîde müstakil kahvecisi olup kahve işlerler derbend gibi bir mahal" vardı. 1816 yılında hasta bulunan Sultan II. Mahmut'un annesi Nakşidil Valide Sultan "kesb-i sıhhat memul ve ümidiyle" bu büyük ve rahat köşke getirilmişti. Fakat fazla rahatsız olan Sultan, Beşiktaş Sarayı'ndan Çamlıca'ya kadar yaptığı yolculukta sarsılmıştı. Bu hava değişiminden bir fayda görülmediğinden onbeş gün sonra tekrar Beşiktaş Sarayı'na getirilmiş ve orada Şevval 1232 (Eyül 1817) tarihinde vefat etmiştir. Kabri, Fatih Camii yanındaki muhteşem türbesindedir. Köşkün sahibi Osman Paşa, kapıcıbaşı, kasapbaşı, arpa emini (1807), matbah emini (1809), ikinci defa kasapbaşı ve 1811'de gümrük emini oldu. Sonra vezaretle tophane nazırı ve mühimmat nazırı oldu (1820). Bazı valiliklerde bulunduktan sonra 1828'de Boğaz muhafızlığına getirildi. 1829'da bu görevine ek olarak Teke sancağı verildi. 1838'de vefat etmiştir. Osman Paşa'nın vefatından sonra varislerine intikal eden köşk, 1862 tarihinden sonra yıkılmıştır. O tarihlerde Gümrükçü Köşkü'nün civarında ve Koşu Yolu üzerinde bulunan Ragıp Bey Bağı da meşhurdu. 32 dönüm büyüklüğündeki bağda 300'den fazla kiraz, vişne ve sair meyve ağaçlarıyla bir köşk, ayrıca üç oda bir sofa bir mutfak ve tulumbalı bir kuyusu olan bir ek binası vardı. Bağ 1841 yılında satılığa çıkarıldı. Millet Bahçesi alt kapısının sağ tarafında, bir zamanlar yerinde Moran Okulu'nun bulunduğu Mısırlılar'ın köşkü diye de bilinen Mustafa Fâzıl Paşa Köşkü ile Ramiz Paşa Çıkmazı arasındaki arazi üzerinde bulunan Gümrükçü Osman Paşa Köşkü, sonradan parsellenerek yerine bir takım yeni binalar yapılmıştır. Mustafa Fâzıl Paşa ile Şehzade Seyfeddin Efendi köşklerinin yerleri Osman Paşa arazisinden alınarak yaptırılmıştır. Arazi Kısıklı Caddesi ile Küçük Çamlıca Caddesi arasında uzanıyordu. Osman Paşa, sahilhanesinde oturduğu halde 8 Recep 1254 (27 Eylül 1838)'de vefat etmiş ve Haydarpaşa Mezarlığı'na gömülmüştür. Çok zengin bir kisme idi. Oğlu Müderris (profesör) Ömer Tahir Bey, 1263 (1847'de vefat ederek babasının yanına defnedilmiştir. Diğer oğulları Nuri Bey'le, Edhem ve Süreyya Paşalardır. Zeynep Kâmil Hastahanesi'nin kurucusu bulunan Sadrazam Yusuf Kâmil Paşa'nın amcasıdır. Büyük hazîresi bugün mevcut değildir. Süreyya Paşa, 1273 (1857)'de Sivas valisi bulunduğu sırada vefat etmiştir. Osman Paşa'nın, Ayazma İskelesi ile Salacak İskelesi arasında, ağalığı zamanında tasarrufunda olan, bir küçük yalısı vardı. Diğer bir yalısı da Emirgân'da idi. Bu ahşap büyük yalı, sonradan Hüsrev Paşa'ya ve daha sonra da Ahmet Fethi Paşa ile eşi Atiye Sultan'ın kızları Feride ve Seniye Sultanlar'a tahsis edilmişti. 1864'te de Sultan Aziz tarafından Hıdiv İsmail Paşa'ya ihsan edilmişti. Yalı, 1927 yılında varislerce yıktırılmıştır. Zeynep Kâmil Hastahanesi'nin kurucusu Yusuf Kâmil Paşa, Ayazma'daki bu yalıdan 1833'te Kızkulesi'ne geçmiş ve buradaki bir yelkenliye binerek Mısır'a gitmiştir. Osman Paşa'nın bir köşkü de Haydarpaşa Sahrası'nda ve Anadolu Lisesi'nin üzerinde bulunduğu sırtta idi ki, bu yere şimdi bir çok apartmanlar yapılmıştır. Köşk, arkasındaki ünlü bağdan dolayı 'Ağabağı Kasrı' ve Osman Paşa'nın mesleğinden dolayı da 'Gümrükçübağı Kasrı' isimleri ile meşhur idi.