Köşk, Kısıklı Caddesi ile Küçük Çamlıca Caddesi arasında ve Yağlıkçı Ayazma Namazgâhı ve 1275 (1858-59) tarihinde yaptırılan Ömer Bey Çeşmesi'nin ilerisinde ve Marmara'ya nazır yüksek bir mevkide idi. Yeri için Esma Sultan Kasrı bahsine bakınız. Köşk, eski sarraşardan Kamondo tarafından yaptırılmış sonradan Şehzade Seyfeddin Efendi tarafından satın alınmıştı. Babası gibi denizciliğe meraklı olan Şehzade, Kamondo'nun üzüm bağlarını bozdurarak yerine büyük bir havuz yaptırmıştı. Havuzun kenarına Boğaziçi semtlerinin isimleriyle bir takım iskeleler kurdurmuş ve Seyfeddin Efendi çatanasıyla bu iskeleler arasında saraylıları taşımakla vakit geçirmeğe başlamıştı. Semih Mümtaz Bey, Hayal Olmuş Hakikatler adlı eserinde, köşkün, eski Şura-yı Devlet azasından Vahit Bey'in babası Necip Molla'ya (öl. 1890) ait olduğunu ve Miladi tarihe göre 1310 (1894) Temmuzunda zuhur eden depremden sonra, Şehzade tarafından evvelâ kira ile tutulduğunu ve sonrada satın alındığını beyan etmektedir. Seyfeddin Efendi, Sultan Abdülaziz'in beş oğlundan en küçüğü olup 9 Şaban 1291 (21 Eylül 1874)'te Gevherîn Kadın'dan, Beşiktaş Sarayı'nda dünyaya gelmiş, iki yaşındayken babasını yitirmiştir. 4 Aralık 1899 günü Necmifelek, 23 Şubat 1902' de Nervaliter Hanım'larla evlenmiş, ilk oğlu Mehmet Abdülaziz Efendi 1901'de dünyaya gelmiş, ikinci eşinden 1903'te ikinci oğlu Mahmut Şevket Efendi, 1904'te Ahmet Tevhid ile Fatma Gevheri (şimdi Osmanoğlu) adını verdiği ikiz çocukları doğmuştur. Denizciliğe ve gemi yapımına pek merakı olan ve Osmanlı Donanması'nda onursal amiral bulunan Şehzade Seyfeddin Efendi, ayrıca resim yapıp, piyano çalardı. Öteki Osmanoğulları ile birlikte 1924 Martında (49 yaşında) Türkiye'den çıkarıldığında 3. Veliaht idi. 19 Ekim 1927 günü, 53 yaşında olduğu halde Nice'de ölmüştür. Naşı, sonradan Şam'a nakledilip Sultan Selim Camii hazîresine, Sultan Vahdettin'in yanına gömülmüştür. Seyfeddin Efendi, Türk musikisinin büyük hâmilerinden biri idi. Tanburi Cemil Bey, Çamlıca'daki bu köşkte haftalarca kalırdı. Kızı, Fatma Gevheri Osmanoğlu da bestekârdı. Bu Hanım Sultan, 11 Aralık 1980 tarihinde vefat etmiş ve Sultan Mahmut Türbesi'nde, dedesi Abdülaziz'in yanına gömülmüştür. Seyfeddin Efendi'nin ikinci oğlu Mahmud Şevket Efendi, Gazi Osman Paşa'nın torunu ve Müşir Damat Kemaleddin Paşa ile, II. Abdülhamit'in kızı Naime Sultan'ın (1876-1954) kızı Adile Hanım Sultan (doğ. 12 Kasım 1900, Ortaköy Sarayı) ile 4 Mayıs 1922 tarihinde Çamlıca'daki, saray denebilecek kadar büyük olan bu köşkte evlenmişti.