Yalı, Üsküdar ile Kuzguncuk arasında ve muhtemelen, Ahmet Fethi Paşa Yalısı'nın bulunduğu yerde idi. Şimdiki yalının ilk sahibi olduğu sanılmaktadır. Yalı, Raif İsmail Paşa'nın 1785 tarihindeki idamı üzerine oğlu İsmet Bey'e ve onun da 1807 tarihindeki vefatı üzerine oğlu Şeyhülislâm Arif Hikmet Beyefendi'ye intikal etmiştir. Bu husus, 1814 tarihinde tutulan bir Bostancı- başı Defteri ile de sabittir. Fıkıh ilminin üstadı Kadıasker Seyfeddin Efendi şu bilgiyi vermektedir: "Arif Hikmet Beyefendi, 1816'da ve henüz 30 yaşında bulunduğu halde babasından kalan bu yalıyı satmıştı. Buna sebep şu idi; kendisi fukara babası olup çok cömertti. Kudüs Kadılığı sırasında bu şehir halkının fakr ü zarureti karşısında derin bir teessür duymuş, erbabı maslahata hiç bir ücret almadan senet vereceğini ilân etmiştir. Makamına müracaat edenlerin kalabalığı karşısında da, kaldıkça sarf olunan kağıda para yetiştirebilmek için yalıyı elden çıkarmak zorunda kalmıştı" demektedir. Divanındaki tercüme-i halinde ise: "Şereşi babasının vefatından bu vakte kadar Kuzguncuk nam sahil-i dilküşâda şöhret bulan ceddinden intikal eden sahilhane-i ferahfezalarında kemal-i asayiş ve safâ ile yirmibeş seneye yakın müddet ikbal ile oturmakta iken kader rüzgârıyla Üsküdar'da Eski Hamam civarında tedarik buyurdukları saâdethaneleri" ne taşınmıştır denilmektedir.