Saray, Salacak sahillerinde, Salacak İskele Sokağı'nın sağ tarafındaki yüksek set üzerinde idi. Yeri için Silâhtar Mustafa Paşa Çeşmesi bahsine bakınız. Evliya Çelebi, Üsküdar Sarayları'nı yazarken bu saraydan bahsetmemiştir. Onun muasırı olan Eremya Çelebi, 1661-1684 tarihleri arasında yazdığı İstanbul Tarihi, adlı eserinde: "Üsküdar'a muttasıl Salacak İskelesi vardır. Sahilde Fatma Sultan Bahçesi bulunur. Daha ileride, hepsinden güzel olan bahçe ve köşkler göze çarpar ki, bu, padişahın meşhur Üsküdar Bahçesi'dir" demek suretiyle Salacak sahillerinde Fatma Sultan'ın bir bahçesi olduğunu belirtmiştir. Sarayın ilk sahibesinin olup olmadığını bilmediğimiz Fatma Sultan, I. Ahmet (1603-1617) ile Kösem Mahpeyker Sultan'ın (öl. 1651) kızıdır. 1014 (1605-6) tarihinden sonra doğduğu sanılan Fatma Sultan ilk önce 1033 (1624) tarihinde Çatalcalı Hasan Paşa (öl. 1631) ile evlenmiş sonra ondan ayrılarak 1035 (1626) yılında Kara Mustafa Paşa ile evlendirilmiş fakat Paşa'nın 25 Aralık 1628 senesindeki vefatı üzerine (kabri, Üsküdar Harmanlık mevkiindeki sofasındadır); 1073 (1662-63) tarihinde Kundakçızâde Kanbur Mustafa Paşa ile evlenmiş ve bunun da 1076 (1665-66) yılındaki ölümü üzerine hayli ilerlemiş yaşına rağmen 1078 (1667-68) senesinde Kozbekçi Yusuf Paşa ile evlendirilmiştir. Yaşlılıktan dolayı vefat eden Fatma Sultan'ın kabri, Sultanahmet Camii yanındaki türbede, babasının yanındadır. Fatma Sultan'ın vefatından sonra, sarayın kime verildiğini bilmiyoruz. Yalnız bu sahilde başka bir Fatma Sultan sahilsarayının bulunduğu malumdur. Bu ikinci Fatma Sultan, Sultan III. Ahmet'in (1703-1730) kızı, Damat İbrahim Paşa'nın eşi olup 1704-1733 tarihleri arasında yaşamıştır. Bunun için Fatma Sultan Çeşmesi bahsine bakınız. Bu iki Fatma Sultan Sahilsarayı'nın aynı yapı olması kuvvetle muhtemeldir. Sarayın, Sultan'ın ilk eşi, Şehit Ali Paşa ile 1713 tarihindeki evliliği sırasında yeni baştan yapılırcasına tamir edildiği sanılmaktadır. Fatma Sultan ikinci evliliğini İbrahim Paşa ile 18 Şubat 1717 tarihinde yapmıştır. İngiliz kadın yazar Lady Montagu 17 Mayıs 1718 tarihli mektubunda bu saraydan şöyle bahseder: "İstanbul ile Halkeduan (Kadıköy) arasındaki deniz o kadar güzel ki, Türkler kıyılarına sayŞyeler yaptırmışlar. Burada yan yana yüzden fazla saray var... Petervaradin'de şehit olan sadrazamın (Ali Paşa'nın) sarayını görmeğe gittim. Şimdiki padişahın kızı sultan (Fatma Sultan) için yapılmış ama, paşa bu şerefe eremeden ölmüş. Size buradan bahsetmek istiyorum. Bütün çalışmalarıma rağmen size bütün doğruluğu ile anlatamayacağım diye korkuyorum. Sarayı deniz kenarında, yapılabilecek en güzel yerde inşa etmişler. Ağaçlık bir tepenin eteğinde ve çok büyük. Kapıcının dediğine göre 800 odası varmış. Bu kadar olduğunu pek tahmin etmiyorum ama sayamadım. Yalnız çok fazla odası olduğunu söyleyebilirim. Hemen hepsi fevkalâde ziynetlerle süslü. Mermer, yaldız ve boyanın en iyileri bol bol kullanılmış. Camlar İngiltere'nin en iyi billurundan yapılmış. Burada görülen ihtişam, ziynet ve debdebeye boğulmuş geniş ve muhteşem bir imparatorluğun bütün servetlerini ellerinde tutabilecek ihtiraslı bir gencin sarayında görülebilir. Hiç bir şey bana hamam dairesi kadar zevk vermedi. Aynı tarzda yapılmış karşılıklı iki hamam var. Kurnaları, çeşmeleri ve zemini tamamen beyaz mermerden. Tavanları yaldızlı, duvarları çini kaplı bu dairelerin yanında iki salon var. En yüksekte olanı sete benziyor. Dört köşesinde tavandan beyaz mermer kurnalara dökülen sular etrafı küçük borularla çevrili geniş bir havuza toplanarak binanın boyunca fıskiyeler meydana getiriyor. Çiçek parmaklığı şeklindeki duvarların etrafına, dışarıdan hanımelleri ve asmalar dikilmiş. Bunlar yeşil bir halı gibi bu güzel daireleri gölgelendiriyor... Padişahın kızını görmeğe geldiği zaman kaldığı oda, sedef kakmalı ve çini görünüşünde zümrütlerle süslü. Bu sarayın, duvarları sedef ve zeytin ağacı kakmalı başka daireleri de var.