Yalının adı 1815 tarihli Bostancıbaşı Defteri'nde şu şekilde geçmektedir: "Balaban İskelesi... Şemsi Paşa Cami-i şerifi - Kapudan-ı Derya-yı sabık Hacı Mehmet Paşa Yalısı - Ayazma Kasrı Hümâyunu (Şerefâbâd Kasrı)" Buradan da anlaşılacağı üzere yalı, Şemsi Paşa Camii ile Şerefâbâd Kasrı arasında ve Şemsi Paşa Caddesi'nin sol köşesinde idi. Yalının boş arsası üzerinde bugün kır kahvesi bulunmaktadır. Yalıdan günümüze, ince tuğla hatıllı olarak yaptırılmış iki mahzen gelebilmiştir. Bostancıbaşılıktan vezaret payesiyle kaptan-ı derya olan Mehmet Paşa İzmirli'dir. 10 Ramazan 1221 (21 Kasım 1806)'da kaptan-ı derya olmuşsada 19 ay sonra azledilmiştir. Azlinden sonra Hotin Muhafızlığı'na gönderilmek istenmiş fakat gitmediğinden Bursa'ya sürülmüştür. Bir müddet sonra af edilen Mehmet Paşa Boğaz muhafızlığına atanmış ve 23 Rebiyülâhir 1224 (7 Haziran 1809)'da da ikince defa kaptan-ı deryalığa getirilmiştir. Yedi ay sonra azledilen Paşa'nın, Bursa'da oturmasına izin verilmişti. Kendisinin denize dayanamadığı ve hatta fırtınalı havalarda kendinden geçecek kadar deniz tuttuğu söylenir. Ahşap büyük yalının iki tarafındaki bölmeler direkler üzerine oturtulduğu için halkın Direkli Yalı dediği Kaptan Paşa Yalısı 1926 tarihlerinde yıktırılmıştır. Sedat Elden Bey'in Köşkler ve Kasırlar adlı eserinde yalının yeri ve şekli açıkça görülmektedir. Yalı yıkılmadan evvel "küberadan (büyükler, ulular) Tevfik Bey'indi. Bu zat, Beytülmal (maliye hazinesi) Müdürü Hüsnü Efendi'nin damadı olan, Meşrutiyet'ten (1908) sonra bir ara mabeyincilik, sonra Halep valiliği eden Galip Bey'in pederidir." Yalı, en heyecanlı ve korkulu anlarını Sarıklı İhtilalci Ali Suavi Vak'ası sırasında yaşamıştır. Suavi (1839-1878), 22 Mayıs 1867'de İstanbul'dan Marsilya vapuru ile Avrupa'ya kaçmış ve orada 1876 Ekimine kadar kalmıştı. 19 Eylül 1876'da Paris'te, uğrunda bunca savaş verdiği meşrutiyet aleyhinde yazdığı bir makale üzerine II. Abdülhamit tarafından af edilmiş ve Türkiye'ye dönmesine izin verilmişti. İstanbul'a geldikten sonra Sultan Abdülhamit'in has müşaviri olmuş ve daha sonra da, Eğinli Said Paşa vasıtasıyla Mekteb-i Sultanî (Galatasaray Lisesi) müdürlüğüne atanmıştı. Fakat bu uzun sürmemiş ve hakkında yapılan dedikodular üzerine 10 Aralık 1877 tarihinde bu görevden uzaklaştırılmıştı. Mekteb-i Sultanî'den, yanında karısı, İngiliz Madam Marie bulunduğu halde ayrılan Ali Suavi, Şemsipaşa'daki Direkli Yalı'yı kira ile tutarak yerleşmişti. Bu sırada Üsküdar'ın Sultantepesi'nde oturan Süleyman Asaf Sopasalan ile tanıştı. Süleyman Asaf Bey, reisü'l-küttaplıkta ve Bosna ve Mısır valiliklerinde bulunan Vezir Sopasalan Kâmil Ahmet Paşazâde Rumeli Valisi Koca Hakkı Paşa'nın torunu ve Bursa Valisi Ahmet İzzet Paşa'nın oğludur. Ve Sokollu Mehmet Paşazâde Vezir Ahmet Paşa'nın soyundandır. Asaf Bey, 1841'de Bağdat'ta doğmuş ve 16 Rebiyülâhir 1331 (25 Mart 1913)'te Sultantepe'deki evinde vefat etmiştir. Kâmil Ahmet Paşa, Üsküdar'da "Bandırmalı Şeyh Yusuf Efendi merhumun zâviye-i reŞ'ası- nı ta'mir ve tevsi edüb kurbünde olan türbesini tecdîd-i küllî ile hüsn-i nizam vermiştir." Ali Suavi ve Süleyman Asaf Bey, Şemsipaşa'daki bu yalıda, II. Abdülhamit'i devirmek ve Sultan Murat'ı yeniden tahta çıkarmak maksadıyla 'Üsküdar Cemiyeti' adıyla bilinen bir cemiyet kurmuşlardı.