Kaptan-ı Derya Piyale Paşa, 967 (1560) tarihindeki Cerbe Adası'nın fethi üzerine İstanbul'a dönerken Tunus'tan getirdiği asma fidelerini buraya diktirdiği ve ayrıca bir de havuz yaptırdığı için bu isimle anılır. O tarihlerde Tunusbağı, şehrin dışında sayılan bir yer idi. Bu bağın yerini belirtmeye şimdilik imkân yoktur. Fakat, Dönme Dolap Sokağı ile Tunusbağı Caddesi arkasında bulunduğu sanılmaktadır. Kâtip Çelebi, Piyale Paşa'nın bu bahçesinden "Üsküdar'daki bahçesi dünya acaibinden idi" diye bahsetmektedir. Piyale Paşa 1578'de öldü. Kabri, Kasımpaşa'da Camii yanındaki türbesindedir. Başbakanlık Osmanlı Arşivi, 11592 Nolu ve 9 Ca. 1194 (13 Mayıs 1780) tarihli bir inhada "Üsküdar'da asar-ı hayriyesi bulunan Piyale Paşa ve Hace Gevher Sultan'ın kızı olan Hatice Hanım Sultan evkafından bir cihetin tevcihi" istendiği yazılıdır. Bu hususta yazılmış 21 Z. 1215 (4 Mayıs 1801) tarihli bir de takrir mevcuttur.