Cami, Toygar Tepesi'nde ve Durbali Sokağı üzerinde idi. Hadîka'da şu bilgi bulunmaktadır: "Bânisi, Ali Bali Ağa nam sahib-i hayrdır ki, Ebu'l-Feth Gazi Sultan Mehmet Han ile gelen askerlerdendir. Kabri Kavukçular içinde bir özel yerde ziyaretgâh iken zamanla dükkânlar arasında kalmıştır. Camiin mahallesi vardır." Bu açıklamadan, Ali Bali Ağa'nın, eski ismi Kavukçular, yeni adı Tavukçu Sokağı olan sokak üzerinde bir türbesinin bulunduğunu öğreniyoruz. Yakın tarihe kadar Kolonyacı Ali Bey'in dükkânı içinde bulunan bu kabir bugün mevcut değildir. Ali Bali Ağa, İstanbul'un alınması sırasında yapılan savaşlara iştirak etmiş bir gazidir. Rivayete göre, Ali Ağa pek yaman bir harp eri imiş. Durup dinlenmeden savaştığı için kendisine "Dur be Ali!" denmiş ve böylece anılır olmuş. Durbali adının 'Torbalı Ali'den geldiği de söylenir. Toygar Tepesi'ndeki bir sokağa bu yüzden Torbalı Sokağı adı verilmiştir. Cami, eskiden Torbalı Sokağı, Durbali camii Sokağı, Zenciler Sokağı ve Şair Ruhi Sokağı ile çevrili olan ve bugün yedi parselden oluşan geniş bir alanın içinde idi. Yeri, vakıfça 1940 tarihinde meşhur hattat Necmeddin Okyay Hoca'ya satılmış ve o da ünlü güllerini burada yetiştirmiştir. Durbali Camii, XVIII. yüzyıl ortalarında Celvetî Tekkesi haline getirilmişse de bu uzun müddet devam etmemiştir. Tekkenin postnişîni Şeyh İbrahim Efendi idi. Şair Ruhi Sokağı'na açılan bir kapıdan Necmeddin Hoca'nın evinin avlusuna girilmektedir. Dört kabirden oluşan küçük hazîre, bu evin arkasındadır.