Saray, Ayazma ismiyle anılan ünlü semtte idi. Semt, ismini Mehmet Paşa Değirmeni Sokağı ile Tulumbacılar Sokağı'nın birleştiği yerde bulunan bir apartman bahçesindeki ayazmadan almıştır. Bizans devrinden zamanımıza intikal eden ve adı bilinmeyen bu ayazma, kesme taş ve tuğla hatıllı olarak yapılmış küçük bir yapıdır. Tonoz çatılıdır. Bugün apartmanın kömürlüğü olarak kullanılmaktadır. Suyu, bir kanalla hemen önündeki gazinonun içine getirilerek akıtılmıştır. Ayazma semtinde, Bizanslılar zamanında imparator sarayının bulunduğunu Nikitas'tan öğreniyoruz. O devirde bu semt, Damalis (İnek) Burnu ismini taşıyordu. Ayazma Sarayı, Ayazma Camii'nin sol tarafında idi. Basit krokiden de anlaşılacağı üzere etrafı, Tulumbacılar, Velioğlu ve Şemsi Paşa Bostanı sokakları ile çevrilmiş olup geniş bir alanı kaplıyordu. Sarayın arkasındaki bahçe, Rum Mehmet Paşa Camii'ne kadar uzanıyordu. Ayazma Camii'nin bulunduğu yerler, bu sarayın gezinti yeri idi. Hemen yanındaki Salacak Bahçesi, Mihrimah Sultan'ın kızı Ayşe Sultan'ın bahçesi idi. Ayazma Sarayı'nın ince tuğladan yapılmış mutfak ocağı ve çeşmesi, Tulumbacılar Sokağı'nın sol tarafında, harap bir şekilde yakın zamana kadar mevcuttu. Sarayın tonoz kemerli, geniş lâğım kanalı, sahile yakın olan gazoz fabrikasının hemen yanında ve gerisinde idi. Ayazma Sarayı'nın yeri, Topkapı Sarayı Arşivi'nde bulunan 5444 Nolu Hesap Defteri'nde, açıkça belirtilmiştir. "Medine-i Üsküdar'da Şerefâbâd sahilsaray-i hümâyununun cânib-i berrîsinde vâki Ayazma Sarayı demekle arîf Atik Sultan Sarayı arazisinden" diye bahsedilmektedir. Buradaki ifadeden, sarayın Şerefâbâd Sahilsarayı gibi deniz kenarında olmadığını, kara tarafında bulunduğunu öğreniyoruz. Ayrıca, Ayazma Sarayı'nın 'Atik Sultan Sarayı' olduğu da ortaya çıkmaktadır. Fakat bunun ne kadar eski olduğu, bugün için kesinlik kazanmamıştır. Ayazma Sarayı'nın yerinde bir Bizans Sarayı'nın bulunduğu kabul edilmektedir. Fakat bu saray, Fatih devrine intikal etmemiştir. Üsküdar, İstanbul'dan 100 sene evvel, 1351-52 tarihlerinde ele geçirilmiş fakat yerleşme olmamıştır. Bir akın sahası olan Üsküdar, İstanbul'un fethi sırasında tamamen boş ve haraptı. Bölgeye ilk yerleşme, Salacak Camii'nin bulunduğu yerde olmuştu ve bu camiin bânisi Fatih Sultan Mehmet'tir. Cami, tahminen 1455-60 tarihlerinde yapılmıştır. Onbeş yıl sonra, Sadrazam Rum Mehmet Paşa, kendi adı ile anılan şimdiki camii yaptırmıştır. Ayazma Sarayı, Fatih tarafından yapıldığı kabul edilirse, sarayın iki tarafında birer cami var demektir. Ayazma Sarayı'nı Kanunî Sultan Süleyman'ın yaptırmış olduğunu ileri sürenler de vardır. Tezkiret-ül Ebniye'de Mimar Sinan'ın eserleri anlatılırken: "Saray-i Üsküdar tecdiden bina olundu" denilmektedir. Burada, sarayın ismi "Saray-ı Üsküdar (Üsküdar Sarayı)" şeklinde geçmektedir. Fakat bu, Üsküdar Sarayı'nın, Ayazma Sarayı olduğunun işareti değildir. Gurre-i rebiülevvel 1172 (2 Kasım 1758) tarihli Hesap Defteri'nde, Ayazma Sarayı demekle arîf Atik Sultan Sarayı" denilmektedir. Saray, Üsküdar Sarayı adı ile ünlü olsa idi, Atik Sultan Sarayı yerine, Atik Üsküdar Sarayı denilmesi icab ederdi. Şimdiye kadar hiç bir kaynakta, Ayazma Sarayının ismi, Üsküdar Sarayı olarak geçmemiştir. Bunun için, Şair Nakkaş Sâî Mustafa Çelebi'nin Üsküdar Sarayı sözü ile Kavak Sarayı kasdedilmiştir. Tecdid (yenileme) var olan bir yapıya tatbik olunduğuna göre, Üsküdar Sarayı Mimar Sinan devrinde mevcuttu. Mimar Sinan bundan başka bu güzel beldeye beş veya altı saray daha yapmıştır. Tezkiretü'l-Ebniye (Meriç, s. 117)'de tecdidin hangi tarihte yapıldığı gösterilmediği halde, aynı kitabın 40. sayfasında ve Tuhfetü'l Mi'marîn bölümünde: "Saray-ı Üsküdar, ahdı Sultan Süleyman Han'da bina olmuştur, fî sene 958" diyerek, sarayın 1551 tarihinde yapılmış olduÜsküdar ğu belirtilmiştir.
(Resim: Ayazma Camii önünde Ayazma Sarayı'nın bir parçası olan Valide Sultan Sarayı. Solda deniz kenarında görülen Şerefâbâd Kasrı ve Adliye