Cami, Karacaahmet Türbesi civarında ve Duvardibi mevkiinde idi. Fethi Ahmet Paşa'nın babası Rodosî Ahmet Ağa, yaklaşık 1790 tarihlerinde, Karacaahmet Türbesi ile şimdiki camiin yerinde ahşap bir cami yaptırmıştı. Taşçılar Camii bu camiin takriben mihrabı önünde veya yerinde idi. Ayvansarayî, Vefeyât adlı eserinde, Mirahur Ahmet Paşa'nın 1067 (1656) tarihinde vefat edip, taşçılar civarında Çayır semtinde defn olunduğunu bildirir. Ahmet Paşa'nın kallâvîli muhteşem lâhdi bugün de mevcut olup Duvardibi Su Terazisi'nin hemen arkasında ve köşeden 30 adım ileridedir. Burada dikkat edilecek husus, Duvardibi isminin kullanılmamasıdır. Bu mahal, 1790 tarihlerinde Çayır Semti - Çayırbaşı isimleriyle anılıyordu. Hadîkatü'l-Cevâmi'de şu bilgi bulunmaktadır: "Bânisi, Üsküdar iskelesinde vaki Mihrimah Sultan Camii'nin bina emini tayin olunan Mehmet Ağa'dır ki, mezar taşında tarihi 955 (1548) olup ve kendi dahi camiinin mihrabı önünde medfundur." Bu camiin yakınında Kanunî Sultan Süleyman devrinde iki defa sadrazam olan Rüstem Paşa'nın 952 (1545) tarihinde yaptırdığı bir çeşme vardı. (Bu çeşme bahsine bakınız.) Camiin karşısında 1041 (1631-32) tarihinde vefat eden Himmet Dede'nin kabri bulunuyordu. (Himmet Dede Türbesi bahsine bakınız.) Mehmet Süreyya Bey Sicill-i Osmânî, adlı eserinde Mehmet Ağa için şunları yazmaktadır: "Enderundan yetişmiştir. Çaşnigirbaşı, kapıcılar kethüdası olmuş, Şaki Kalender'i yakalama işinde büyük hizmeti dokunmuş ve sonra Mihrimah Camii'ne bina emini tayin edilmiştir." Mehmet Ağa'nın kabir taşı mevcut değildir.