Cami, Eski Hamam karşısında, Darı Sokağı ile Kavaklı İskele Sokağı'nın birleştiği yerde ve 1141 (1728-29) tarihinde yaptırılan Sadrazam İbrahim Paşa Çeşmesi'nin arkasındadır. Darı Sokağı, Tekel binalarının yapılmasından sonra trafiğe kapatılmıştır. Diğer sokak ise ismini, bu yolun sonunda bulunan Gümrük Teşkilâtı'ndan almıştır. Osmanlı İmparatorluğu döneminde, Gümrük Teşkilâtı'nın diğer bir adı da 'Kavak' idi.