Şemsipaşa Meydanı'nda bulunan bu kasır, bânisinin isminden dolayı Şemsi Paşa Kasrı, Padişah III. Murat'a (1574-1595) hediye edildiği için de şereşi yer anlamına gelen Şerefâbâd adıyla anıla gelmiştir. Kasrın yeri çok kere yazarları yanıltmış ve bu yüzden Üsküdar Bahçesi içinde, Kavak Sarayı' nın yanında ve Harem İskelesi civarında bulunduğu ileri sürülmüştür. Hadîka yazarı kasrın yapılışını şöyle anlatmaktadır: "Şemsi Paşa kendi ismi ile müsemma olan kasr-ı meşhuru Sultan Murat Hazretleri için bina ettirmiştir. O münasebetle bir cami ve bir medrese binasına dahi muvaffak olmuştur," demektedir. Şemsi Paşa 988 (1580) tarihinde ve camiini yaptırdığı sırada vefat ettiğine göre, Şerefâbâd Kasrı'nı bu tarihten bir müddet evvel yaptırmış demektir. Mimar Sinan yapısı olduğu sanılmaktadır. "Künhü'l-Ahbar" adındaki eserin yazarı Mustafa Ali Bey, 1576'da Bosna'da zeametinin başından ayrılarak İstanbul'a gelmiş ve Padişah'ın gözde müsahibi Şemsi Paşa'nın Üsküdar'daki yalısına hergün kayıkla gelerek ona kasideler sunmuştu. Cami, bu ziyaretlerden 4 sene sonra yapıldığına göre Şemsi Paşa kendi yalısını yıktırarak Padişah'a yeni bir kasır yaptırmış veya Şemsi Paşa Camii'nin yanında paşanın başka bir yalısı daha vardı. Şemsi Paşa Medresesi arkasında görülen büyük arsadaki iki su haznesi ve mutfak ocağı bakiyesi bunun delili olmalıdır. Evliya Çelebi'nin muasırı Eremya Çelebi (1637-1695) İstanbul Tarihi adlı eserinde bu saraydan hiç bahsetmemiştir. Oysa müellif Üsküdar İskelesi'nden Salacağa kadar bütün sarayları ve bahçeleri kaydetmiştir. Yazar: "Balaban tesmiye edilen bu semtte müteaddid iskeleler mevcuttur. Sahil boyunca Yahudi evlerinin önünden geçiyoruz. Şemsi Paşa Camii'nin yakınında bulunan bir mahalde debbağlar çalışırlar... Üsküdar'ın bitişiğinde Sarı Taş denilen iskele vardır ki, burada Valide Sarayı ile Ayazma Bahçesi bulunur..." demektedir. Evliya Çelebi ünlü Seyahatname'sinde Şemsi Paşa Camii'ni ve Üsküdar'ın meşhur saraylarını kaydettiği halde Şerefâbâd Kasrı'ndan hiç söz etmemiştir.