Saray, Sultantepe'de ve bu tepenin Boğaziçi'ne bakan yüksek sırtlarında ve Mihrimah Sultan Sarayı'nın yanında idi. Evliya Çelebi kıymetli Seyahatname'sinde: "Nakkaş Paşa Bahçesini geçip Öküz Limanı' ndan sonra Kaya Sultan Sarayı ve Bağı geçilerek büyük Üsküdar'a gidilen bir cadde vardır." demektedir. Öküz Limanında, Sokolluzâde İbrahim Hanzâdeler'in güzel bahçeleri ve yalıları vardı. Bu ifadede adı geçen Öküz Limanı, bugün Paşalimanı ismiyle anılmakta olup Abdurrahman Ağa Camii'nin ön tarafındaki deniz kısmıdır. Daha geniş bilgi için Serasker Hüseyin Avni Paşa Çeşmesi bahsine bakınız. Mihrimah Sultan Sarayı, Yeni Dünya Sokağı ile İmam Hüsnü Sokağı arasında ve Boğaziçi'ne bakan bir mevkide idi. Bu her iki sokak bugün de bir büyük bahçe duvarına dayanarak son bulmaktadır. Bu duvarın başladığı yer ile Şemsi Efendi Sokağı arasındaki geniş ve ağaçlı alan Kaya Sultan Sarayı'nın yeri idi. Bu yerde, Mihrimah Sultan Sarayı'nın arsasında olduğu gibi hâlâ tonoz bakiyeleri ve kemerler görülmektedir. İmam Hüsnü Sokağı'nın duvara yakın bir yerinde ve sol tarafta bir Ayazma bulunmaktadır.