Türbe, Açıktürbe Yokuşu üzerinde ve Üsküdar Postanesi'nin arka tarafındadır. Bu açık türbenin hemen yanında, Yer Sarsan Baba adıyla anılan ve bugün mevcut olmayan bir açık türbe daha vardı. Türbenin gerisinde ise, yeri hâlâ arsa halinde olan ve ismini türbeden alan, Gizlice Evliya Celvetî Tekkesi bulunuyordu. Gizlice Evliya'nın kimliği belli değildir.(Daha geniş bilgi için bu isimle bilinen tekkesi bahsine bakınız.) Vakıf kayıtlarında Şıh Hüseyin Efendi kabri diye kayıtlıdır. Tapu sicilinde de yeri 395 ada, 4-5 parsel diye yazılıdır. Gizlice Evliya Türbesi günümüze kadar gelebilmiş ve 1967 tarihlerinde şimdiki şekli ile onarılmıştır. Türbenin eskiden sebile benzeyen bir durumu vardı. Yol seviyesinden yüksek olduğundan, sol tarafındaki bir merdivenden türbenin avlusuna çıkılırdı. Merdiven ve türbenin yan duvarları kesme taştan yapılmış olup, etrafı bir demir parmaklık ile çevrilmişti. Her tarafını ağaçlar ve sarmaşıklar kaplamıştı. Türbede, Gizlice Baba'ya ait olduğu söylenen kitâbesiz, yuvarlak bir taş ile etrafındaki mezarlı ktan getirilip konulan bir kaç şâhide vardı. Bu iki türbenin ve tekkenin etrafını saran, Ağa Camii ve Devatîzâde Mehmet Talib Efendi Camii Mezarlığı, bugünkü şehir plânına göre Ahmediye Meydanı, Halk Caddesi, Türbe Kapısı Sokağı ve Açık Türbe Sokağı ile çevrili oldukça geniş bir alanı kaplıyordu. 1928 tarihlerinde kaldırılarak yerine Belediye Tahsil Şubesi ve PTT binaları yapılmıştır. Mezarlığın kaldırılması sırasında türbenin yan tarafında bulunan türbedar meşrutası da yok olmuştur. Buradaki şâhideler arasında en eski tarihlisi 1192 (1778) rakkamlısı olup ayrıca 13 dilimli Celvetî sikkeleri de vardır. Yalnız, PTT binasının yerinde, Göztepe Semti'nin kurucusu ve cami sahibi serduhani (baştütüncü) Mehmet Efendi'nin büyük bir hanı vardı.