Köşk, Büyük Çamlıca Tepesi'nin Üsküdar'a bakan, batı eteklerinde ve Subaşı Mevkii'nin sol tarafındadır. Evliya Çelebi meşhur Seyahatname'sinde: "Büyük Çamlıca Mesiresi, göklere baş kaldırmış bir yüksek dağın tâ tepesinde bir tekke idi. Orada padişahımız kendilerine mahsus 'Cihan Bağı' adıyla bir büyük bahçe tanzim ettirdi ki orada olan köşke hakîrin (Çelebi'nin) tarihi şöyledir: Didim Evliyâ bu kâha tarih Mübarek ola kasrın Padişahım Sene 1065 Sultan IV. Mehmet (1648-1687) bu yerde, 1071 (1660-1661) tarihinde bir çeşme ve namazgâh yaptırdığına göre, kasır; çeşme ve namazgâhtan altı sene evvel yapılmış demektir. Aynı padişahın Küçük Çamlıca'da Cennetâbâd ismiyle anılan bir kasrı daha vardır. Bu kasır bahsine bakınız. Avcı lâkabıyla bilinen IV. Mehmet, yazları sık sık bu havaliye gelerek avlanırdı. Mehmet Halife, Tarih-i Gılmanî adlı eserinde: "Saadetli padişah da donanma gittikten sonra 1066 tarihinde Şevval ayının onunda (3 Ağustos 1656) saâdetle Üsküdar'a göç etti ki, iç halkı ile yaz mevsiminde bir miktar istirahat ederler..." Bu sırada sürüp giden harpten dolayı, Bozcaada ve Limni Adası Venedikliler'in eline geçmişti. "Bu haber kesinlik kazanınca bütün İstanbul halkı ayağa kalkıp; "Elbette Padişahımız İstanbul'a gelsin, seyr ve temaşa, bağ, bahçe ve zevk zamanı değildir... Üsküdar'da ne işi vardır?" diye söylenmeleri üzerine padişah vakit geçirmeden İstanbul'a dönmüştü. Padişah'ın, gerek Küçük Çamlıca'da ve gerekse Büyük Çamlıca'da, Bektâşî Tekkeleri'nin bulunduğu yerleri, kendisine has bahçe ve kasır olarak seçmesi, bir tesadüf eseri değildi. Bunun sebebini yine Mehmet Halife'den öğreniyoruz: "Sultan II. Süleyman tahta geçtiği zaman sazı, şarkıcı ve okuyucu takımını, tanburu, çöğürü ve Âşık Tekkeleri'ni yasak etmişti. Padişahımız, Sultan Süleyman'ın yaptığına uymakla zaman-ı saâdetlerinde de İstanbul huzura kavuşmuş"tu. Bağ-ı Cihan Kasrı da denilen Cihan Bağı Kasrı'nın ilk önce Sultan IV. Murat (1623-1640) tarafından takriben 1634 tarihlerinde yaptırılmış ve etrafındaki arazinin de bahçe olarak tanzim edilmiş olduğu söylenir. Kısa zamanda harap olan kasır IV. Mehmet tarafından yeniden yaptırılmış olmalıdır. Küçük Çamlıca Kasrı gibi, 60-70 sene sonra tamamen ortadan kalkan Cihanbağı Kasrı'nın yerine Sultan II. Mahmut, annesi Nakşidil Valide Sultan adına burada bir kasır yaptırmıştı.