Saray İmrahor Semtinde idi. Bu muhteşem yapıdan ilk defa Mimar Sinan'ın eserlerini beyan eden Şair ve Nakkaş Sâî Mustafa Çelebi'nin kaleme aldığı Tezkiretü'l-Ebniye adlı eserde bahsedilmiştir. Devrinin çok zengin bir sadr-ı azamı olan Rüstem Paşa, Kanunî'nin damadı ve Mihrimah Sultan'ın kocası idi. Onun ölümünden sonra saray, kızı Ayşe Sultan'a intikal etmiş ve bundan sonra onun adı ile anılmaya başlamıştır. Ayşe Sultan'ın bu saray civarında bir çeşmesi ve darü'l-kurrası vardır. Rüstem Paşa 1561 tarihinde vefat ettiğine göre sarayı bu tarihten evvel muhtemelen ilk sadaretinden 6 Ekim 1553 tarihindeki azlinden sonra yaptırmış olmalıdır. İstanbul Tarihi, adlı eserin sahibi E. Kömürcüyan (1637-1695) sıra ile Üsküdar Sahillerindeki yapıları anlatırken; "Üsküdar'ın son bulduğu yerde Sarı Taş denilen iskele vardır ki, burada Valide Sarayı ile Ayazma Bahçesi bulunur... Bunun yanında Ayşe Sultan Bahçesi'nin bulunduğu Taş Limanı vardır. Onun karşısında bir adayı andıran Kızkulesi bulunmaktadır." demektedir. Burada saray bahçesinin yeri açıkça belirtildiğine göre şimdiki Salacak plaj ve gazinosu ile onun arkasındaki yerlerin ona ait olduğu anlaşılmaktadır. Kömürcüyan ile aynı asırda yaşamış olan büyük yazar Evliya Çelebi ise bu saraydan sadece "Salacak'da Ayşe Sultan Sarayı" diye bahseder. XVIII. Asırda İstanbul adlı eserin sahibi İnciciyan Efendi de (1758-1833) Kömürcüyan'dan takriben 125 sene sonra sarayın bahçesinin Ayazma Bahçesi ile iskelesi yanında bulunduğunu belirtmiştir. Başvekâlet Arşivi'nde kayıtlı bulunan 1130-1146 (1717-1732) tarihleri arasına rastlayan dört muhtelif Mevacib Defteri'nde İstanbul bahçelerinin isimleri kaydedilirken "Ayazma şöhretli Rüstem Paşa Bahçesi" diye bir ifade geçmektedir. Daha evvelki tarihlere tekabül eden ve meselâ 1036 (1626-27) tarihli bulunan Mevacib Defterleri'nde ise sadece "Bağçe-i Rüstem Paşa" diye kaydedilmiştir. Sarayın İbşir Paşa'nın eşi diğer Ayşe Sultan'a ait olduğunun ileri sürülmesi tarihi gerçeklere aykırıdır. Çünkü bu Ayşe Sultan muhtemelen 1646'da doğmuş ve 1655'te de İbşir Paşa ile evlendirilmiştir. Bu saray bahçesinin arkasında ve yol aşırı yerde, Doğancılar Tepesi'nin yüksek bir mevkiinde, Sünbülzâde Sokağı ile Davutoğlu Sokağı arasında, bugünkü Üsküdar İtfaiyesi'nin sağ tarafında asıl saray bulunuyordu. Hemen yanında Hacı Ahmet Paşa Sarayı vardı. Bu iki sarayı biribirinden ayıran kesme taş ve tuğla hatıllı duvar bugün de mevcuttur. Sarayın Doğancılar Caddesi'ne açılan kapısının üzerinde bulunduğu sokak hâlâ, Oyma Saray Çıkmazı adını taşımaktadır. Sarayın önünde Rüstem Paşa'nın yaptırmış olduğu sıbyan mektebi günümüze kadar gelebilmiştir.