Kasır, Validebağı semtinde, Tophanelioğlu- Koşuyolu, Kalfa Çeşmesi Sokağı ve Atıf Bey Sokağı ile çevrilmiş 354 bin metre karelik bir koru içindedir. Etrafı yüksek duvarla çevrili bulunan bu korunun beş kapısı olup cümle kapısı, Koşuyolu üzerinde ve Hava Lojmanları'nın karşısındadır. Bahçede bir kaç binadan başka, bir de Sultan Aziz'in yaptırdığı sanılan bir av köşkü vardır. Bu köşk bahsine bakınız. Kasır, Adile Sultan ismiyle anıldığı gibi, Valide Bağı adıyla da yad edilmektedir. Kasrın yerinde, Sultan III. Selim'in (1798-1807) annesi Mihrişah Valide Sultan'ın bir bağ köşkü vardı. Burası daha sonra Bezmialem Valide Sultan'ın tasarrufuna geçmiştir. Bir rivayete göre, Sarıkaya ve Tophanelioğlu'nun bir kısmı ile Validebağı mevkii ve bugün hâlâ Hünkâr İmamı adıyla anılan mahalle, Sultan III. Selim'in birinci imamı Derviş Efendi'ye aitti. Kendisi, 1816 tarihinde öldü. Kabri, Beşiktaş'ta Yahya Efendi Tekkesi hazîresindedir. Taşı mevcuttur. Bu yerleri, 1790 tarihinde, Sultan Selim'in ihsanı ile elde ettiği söylenmektedir. Validebağı Kasrı arazisinin ilk sahibi Aygır İmam namıyla anılan Derviş Mehmet Efendi, birinci imam olan Mehmet Said Efendi'nin 1195 (1781) tarihindeki vefatı üzerine, o esnada ikinci imam olduğundan 'imam-ı evvel'liğe tayin edilmiştir. Sultan Selim'in 28 Temmuz 1808 tarihindeki şehadeti üzerine o tarihte Rumeli Kazaskeri bulunduğu halde azledilmiştir. Yerine Kırımî Ahmet Kâmil Efendi tayin olunmuştur. Cevdet Paşa meşhur tarihinde şunları yazmaktadır: "Rumeli Kazaskeri Mehmet Derviş Efendi kaba, cahil ve sadaret mevkiine lâyık değilken Sultan Selim Han Hazretleri'nin şefkat ve merhameti ile imam-ı sultanî ve kısa zamanda da ilmiye mesleğinin sonu olan sadaret rütbesine kadar yükselmişti. Sultan Selim'in hallinde zorbalar ulemadan birini elçi olarak saraya göndermek istediklerinde bu ağır ve çirkin hizmeti Münib Efendi ve diğer ulemanın kabul etmemeleri üzerine bu ahlâksız adam iftiharla bu işi kabul etmiş ve padişahın huzuruna korkusuzca giderek edepsizce muamelelere cesaret etmişti. Yine bu adam Alemdar Paşa Vak'ası'nda zorbaların elçisi olarak saraya giderken pervasızca: -Cülus da ister misiniz? yollu, zorbaların bile hatırına gelmeyen bir sual sormuştur. Hâsılı, bu makamın ehli olmayan bu adam da örfî müddeti sona ermeden Zilhiccenin son günü (15 Şubat 1809) azledildi." Bezmialem Valide Sultan, Hekimbaşı Salih Efendi (1817-1895)'nin Anadoluhisarı'ndaki ünlü bahçesinin methini duyduğundan kısa zamanda kurdurmuş olduğu Valide Sultan Bağı'na 206 tür armut, 98 tür elma, 13 tür vişne, 11 tür incir, 11 tür dut, 15 tür muşmula ağacı diktirmiştir. Bundan başka Bulgaristan'dan getirilmiş Karadünya üzümü, Ödemiş'ten getirtilmiş İzmir siyahı, Tokat'tan getirilmiş Kabak üzümü yetiştirilmiştir. Ayrıca Şam üzümü veya Pomak üzümü, Erenköy siyahı, tilki kuyruğu, Yerli Kara üzümü Şdesi pek çok dikilmiştir.