Önceleri, Bizans İmparatoru Konstantinus'un diktirdiği haç dolayısıyla İstavroz Bahçeleri diye adlandırılan, daha sonraları lll.Murat döneminin Beylerbeyi Mahmut Paşa'nın buradaki köşkü dolayısıyla Beylerbeyi diye anılmaya başlanan semtte Boğaz Köprüsünün ayaklarının yanındadır. Bu günkü saray,1829'da Sultan ll.Mahmut'un yaptırdığı ahşap sarayın yanmasından sonra, Sultan Abdülaziz tarafından, 1861-1865 yılları arasında Mimar Serkis Balyan'a yaptırılmıştır. Yazlık saray olması sebebiyle sürekli oturulmayan saray genellikle yapancı konukların ağırlanmasında kullanılmıştır. Sultan ll.Abdülhamit tahttan indirildikten sonra 1918'e kadar ömrünün son 6 yılını burada geçirmiştir. 3 katlı, 6 salonlu ve 26 odalı olan saray Harem ve Selamlık olarak 2 ana bölümden oluşur. Türk evi tarzında bir orta sofaya açılan odalar şeklinde yapılmıştır. Saray bahçesinde, deniz kıyısında haremlik, selamlık yalı köşkleri, yamaca doğru setler biçiminde yükselen set bahçeleri'ndeki büyük havuzun çevresinde Sarı Köşk, içindeki havuzu ve sebiliyle ünlü Mermer Av Köşkü ve Ahır köşkü sarayı tamamlayan önemli yapılardır. Beylerbeyi Sarayı'nın en ilginç yanı, Set Bahçeleri'nin altından geçen tarih tüneldir.