Kasır, Tophanelioğlu-Kısıklı arasında ve Sarıkaya mevkiinde idi. Millet Bahçesi'nden Kısıklı'ya doğru yüründüğüne göre sağ tarafta ve yayvan bir tepe üzerinde bulunuyordu. Kısıklı Caddesi ile Küçük Çamlıca Aralığı Sokağı arasındaki geniş alanı kaplayan ve bir bahçe içinde bulunan kasrın çok güzel bir manzarası vardı. Büyük bahçe kapısının yanında ve cadde üzerinde, Esma Sultan'ın 1832 tarihinde yaptırdığı bir çeşme bulunuyordu. Hadîka yazarı bu kasır için şunları söylüyor: "Sarıkaya denmekle meşhur mahalde bulunan bağ, Şehid Sultan Selim Han'ın birinci imamı Derviş Efendi'nin binası olup sonra, adı geçen sultanın annesi (Mihrişah Valide Sultan) için yeniden yaptırmaları ile bir halvetsaray-ı âli olmuştur. Ve sonra Valide Sultan'ın 22 Recep 1220 (16 Ekim 1805) tarihindeki vefatı üzerine Sultan III. Selim'in kızkardeşi Esma Sultan'a verilmiştir." Osmanlı Tarihi'nin mühim kadın simalarından biri olan Esma Sultan, 21 Cemaziyelâhir 1192 (2 Ağustos 1778) tarihinde doğmuş, 7 Şevval 1206 (29 Mayıs 1792)'de ve 14 yaşının içinde olduğu halde, debdebeli bir düğün ile Kaptan-ı Derya Küçük Hüseyin Paşa (1757- 1803) ile evlendirilmişti. Sultan, yazları Kuruçeşme'deki meşhur Tırnakçı Yalısı'nda, kışları ise, şimdi bir kısmının üzerinde Sultan II. Mahmut Türbesi'nin bulunduğu büyük sarayında oturuyordu. Sultan III. Selim'in süt kardeşi olan Hüseyin Paşa, 23 Şaban 1218 (7 Aralık 1803) tarihinde ve 46 yaşında olduğu halde bu yalıda vefat ettiği zaman Esma Sultan 25 yaşında bulunuyordu.