Evliya Çelebi, büyük eserinde bu saraydan sadece "Hanzâde Sultan Sarayı" diye bahseder. Fındıklılı Mehmed Ağa'nın (1658-1724) Silâhdar Tarihi, adı ile bilinen eserinde ise sarayın bir yalı olduğu ve Üsküdar'ın Kuzguncuk tarafında bulunduğu yazılıdır. Hanzâde Sultan, I. Ahmet'in (1603-1617) kızı olup Eylül 1623'te Sadrazam Bayram Paşa ile evlendirilmiş, fakat Paşa'nın 1638 tarihindeki vefatı ile dul kalmıştır. Beş sene sonra 1643'te Nakkaş Mustafa Paşa (öl. 1653) ile evlenen Hanzâde Sultan, 23 Eylül 1650 tarihinde vefat ederek Ayasofya Camii avlusundaki Sultan İbrahim (1640-1648) Türbesi'ne gömülmüştür. Yalı, Hanzâde Sultan'ın ölümünden sonra Kara İbrahim Paşa'nın mülkiyetine geçmiştir. İbrahim Paşa'nın 15 Aralık 1683 tarihinden 18 Aralık 1685 tarihine kadar süren iki senelik bir vezir-i azamlığı vardır. Azlinden sonra isyan edeceği yolundaki söylentiler üzerine Rodos Adası'na sürülmüş ve ertesi sene de orada idam edilmiştir. İbrahim Paşa, 18 Aralık 1685 tarihindeki azlinden sonra yalısının harem dairesi duvarı dibine 40. 000 altını bir küpe doldurarak gömmüştü. Aradan yıllar geçmiş ve bu gömü işini bilen Paşa'nın hazinedarı derebeylerinden İbrahim Ağa/Paşa (öl. 1708) ile Hassa hasekilerinden Mustafa Ağa bu deŞneyi ele geçirmek için aralarında anlaşarak 1696 senesi Martının bir günü yalıya misaŞrliğe giderler. O gece orada kalan kafadarlar gömüyü yerinden çıkarırlar. Fakat bu sırada bostancı bekçileri olaydan haberdar olarak durumu sadrazam Elmas Mehmet Paşa'ya bildiriler. Bunun üzerine yakalanan Mustafa Ağa ile İbrahim Ağa'nın elinden Kara İbrahim Paşa'nın hazinesi alındığı gibi kendi servetleri de gasp edilerek serbest bırakılır. On yedinci asrın büyük yalılarından biri olan Hanzâde Sultan Yalısı'na IV. Mehmet'in ara sıra geldiği Silâhdar Tarihi'nde şöyle yazılıdır: "Hicrî 1092 senesi Cemaziyelâhirinin (21 Haziran 1681) üçüncü Perşembe günü dördüncü Vezir Kara İbrahim Paşa kendisinin Kuzguncuk yanındaki Bayram Paşa Yalısı'na padişahı davet etti ve bir ziyafet verdi. O gün ikindi vakti gök gürlemeleri ve şimşeklerle bir tufan oldu, ardından kaz yumurtası büyüklüğünde dolu yağıb bütün şehrin üstünü ve kırları kış mevsimi gibi ağarttı.