Köşk, Kısıklı'nın Sarıkaya mevkiinde idi. Yeri için, Esma Sultan Kasrı bahsine bakınız. Harem ve Selâmlıklı, 46 odalı, bu büyük köşkten günümüze geniş bahçe kapısı ile yüksek duvarları kalmıştır. İstavroz Deresi'ne kadar uzanan kademeli, çok büyük bahçesinde ise, yalnız iki çam ağacı görülmektedir. Çok zengin bir kimse olan Paşa, bu köşkteki vaktini "zevk u tarab" ile geçirir ve bahçesindeki büyük havuzda güzel cariyelerinin yüzüşünü seyrederdi. Yan komşusu Mabeyin Baş Kâtibi Emin Bey'in (öl. 1885) köşkünden görülüyor diye bahçe duvarları üzerine yüksek tahta perdeler yaptırmış ve bu yüzden Emin Bey ile mahkemelik olmuşlardı. 30 Kasım 1968 tarihli Hürriyet gazetesinde şu yazı vardır: "Tunuslu Mahmut Paşa'nın Çamlıca'daki köşkünü bilirsiniz. Cariyelerinin çokluğu ile meşhurdur.... Açık saçıklığa alışmamış olduğundan harem bahçesine mabeyin başkâtibi (sahibi çiftlik) Emin Bey'in köşkünden bakıldığı cihetle kaide olduğu üzere bir pancur çekerek bakışlara mani olur." Köşk, gece gündüz kalabalık olup, saz ve söz eksik olmazdı. Fakat, bu debdebeli hayata servetleri kaŞ gelmeyen Tunuslular, bahçelerindeki asırlık ağaçları satmak zorunda kalmışlar ve bir müddet sonra da, köşk Sultan II. Abdülhamit tarafından satın alınmıştır. 24 Haziran 1324 (1906) tarihinde yapılan bu satıştan sonra köşkler, II. Abdülhamit'in oğlu Burhaneddin Efendi'nin eline geçmiş ve 1926 tarihlerinde de yanmıştır. Tunuslu Mahmut Paşa'nın büyük oğlu Tahir Bey, Mısırlı Mustafa Fazıl Paşa'nın kızı Prenses Rukiye Hanım ile bu muhteşem köşkte evlendirilmiş ve bu izdivaçtan Adil Bin Ayad ile Ahmet Reşid Bin Ayad dünyaya gelmişti. Mustafa Fazıl Paşa Köşkü bahsine bakınız. Adil Bey, bir ara Suriye Krallığı'na talip olmuştu. Tunus devlet adamı olan Mahmut İbni Ayad, Fransa Kralı Louis Phillippe'e yapılan bir suikastten kurtulması üzerine, Paris'deki Madlen Kilisesi baş papazına, fukaraya dağıtmak için, 40 bin kuruş göndermiş olması memleketinde dedikoduya sebep olmuş ve hayatını tehlikede görerek evvelâ Paris'e yerleşmiş ve daha sonra da Fransa himayesinde olarak İstanbul'a gelmiştir. Mahmut Paşa, Paris'ten 1852 tarihinde İstanbul'a gelmiş ve Sultanahmet Camii civarında, Arasta Çarşısı'nın batı ucunda, Torun Sokağı'nın dirsek yaptığı yerdeki konak ile Çamlıca'daki bu köşkü satın almıştır. Konak sonradan Baytar Mektebi olmuştur. Kendisinin Çengelköy sahilinde bir de yalısı vardı. Burada oturduğu sırada ve 1279 (1862) tarihinde, Sadrazam Yusuf Paşa'nın çeşmesini onartmış ve kendi ismini de kitâbeye yazdırmıştır. Mahmut Paşa kışları Sultanahmet'teki konağında oturmuştur. Bu konağın yanına "Seyyahlar Tekkesi" adı ile bilinen bir de tekke tesis etmiştir. Bu sırada konakta vefat eden kızı veya haremi, konağın biraz ilerisindeki Kağnı Mescidi'nin hazîresine gömülmüş ve üzerine de bir türbe yaptırmıştır. Halk bu türbeye yanlış olarak "Güngörmez Sultan Türbesi" diyor. Mahmut Ayad Paşa, 8 Rebiyülevvel 1296 (2 Mart 1879) tarihinde vefat etmiştir. Muhteşem lâhdi, Karacaahmet Mezarlığı'nda, 7. Ada'nın devamı olan, bugünkü İSFALT Şeşiği'nin arazisi içinde kalmıştır.