Saray, şimdiki Selimiye Kışlası arkasında, Talimhane Meydanı adını verdiğimiz yüksek plâtform üzerinde idi. Sultan III. Selim'in mimarı, kızkardeşi Hatice Sultan'ın ressamı M. Melling 1805 yılında meydana getirdiği ünlü Voyage Pittoresque de Constantinople et des Rivers du Bosphore adlı kitabında, Kavak Sarayı'nın bulunduğu mevkii, yaptığı harita ve resimlerde açıkça belirtmiştir. Buna göre, Kavak Sarayı, yukarıda açıklaması yapılan yerde idi. Melling'in adı geçen eserinin 18 ve 19. sayfaları arasında bir resim bulunmaktadır. Bu resim Kadıköy'ün Mühürdar semtinden yapılmıştır. Burada, Kadıköy Vapur İskelesi'nin eski durumu, Haydarpaşa Koyu ve Selimiye Kışlası'nın üzerinde bulunduğu sırtlar açıkça görülmektedir. Resimde, muhteşem kışla bugünkü şekliyle resmedildiği halde, köşelerindeki kuleler resmedilmemiştir. Bundan da kulelerin henüz bu tarihte yapılmadığı anlaşılmaktadır. Kışlanın önünde ve yüksek yar üzerinde iki katlı, ahşap çatılı, geniş saçaklı, simetrik olduğu düşünülürse, 'T' biçiminde bir yapı görülmektedir. Melling bu binaya Kavak Sarayı ismini vermiştir. Mehmet Paşa Sarayı'nın, hangi tarihten itibaren, bu isimle anılmağa başladığı belli değildir. Üsküdar Sarayı'nın da bazen bu isimle yad edildiği bir gerçektir. Meselâ Türk İslâm Eserleri Müzesi'nde 3366 no'da kayıtlı olup Abdülkadir Erdoğan Bey'in yayınladığı Üsküdar Su Yolu Haritası adlı eserde "Şevketlu Efendimiz'in Kavak'ta vaki saray-ı hümâyunu" yazısı okunmaktadır. Fakat bu, Üsküdar Sarayı adıyla bildiğimiz yapıdır. Buradan, o tarihlerde bütün bu havaliye Kavak ismi verildiği anlaşılmaktadır. Çünkü, o yıllarda Selimiye, Küçük ve Büyük İhsaniye mahalleleri henüz yaptırılmamış olduğu gibi, isimleri de yoktu. Üsküdar Sarayı bahsine bakınız. Yanındaki Kavak İskelesi'nden ismini alan saray için, Hadîka yazarı, "Mehmet Paşa Köşkü diye şehir olan (ünlü olan) kasır elan mevcut olup Kavak Sarayı'nın ebniye-i sairesi münhedim olarak yerlerine kışla ve sair binalar yapılmıştır," demektedir.