18. yüzyılda yaşamış olan ünlü gezgin İncicyan'a göre, Büyük Constantinus'un diktirdiği bir haçtan dolayı Bizans İmparatorluğu döneminde "İstavroz Bahçeleri" adıyla anılan Beylerbeyi, Osmanlı İstanbul'unda da padişahlara tahsis edilmiş bir yazlık alan olarak kullanılmıştır. Yine İnciciyan'a göre yöreye "Beylerbeyi" adının verilişi ise, 16. yüzyılda Beylerbeyi Mehmed Paşa'nın burada bulunan köşkünden kaynaklanmaktadır.
Çeşitli dönemlerde Osmanlı padişahlarının ilgisini çeken Beylerbeyi, yaptırılan kimi köşk ve kasırlarla giderek önem kazanmış, 1829 yılında Sultan II. Mahmud'un yaptırdığı ahşap sahilsarayı ile yeni bir hareket kazanmıştır.
Bugünkü Beylerbeyi Sarayı, Sultan Abdülaziz tarafından II. Mahmud'un ahşap sahilsarayı yıktırılarak, 1861-1865 yılları arasında dönemin tanınmış mimarı Sarkis Balyan'a yaptırılmıştır. Saray genellikle yaz aylarında, özellikle de yabancı devlet başkanlarının ağırlanmasında kullanılmıştır. Sırp Prensi, Karadağ Kralı, İran Şahı, Fransız İmparatoriçesi Eugenie bunlardan bazılarıdır. Sultan II. Abdülhamid de 1918 yılında, ömrünün son yedi yılını geçirdiği bu sarayda ölmüştür.
Çeşitli Batı üslûplarının Doğu üslûplarıyla kaynaştırıldığı sarayın iç mimarlığı, kullanım özellikleri açısından, bir orta sofaya açılan köşe odalarından oluşan geleneksel Türk Evi plan tipi içinde değerlendirilebilir. Harem ve Selâmlık olarak iki ana bölümden oluşan sarayda Selâmlık, tefriş ve süsleme açısından Harem'den daha zengin tutulmuştur.
Bodrum katı mutfak ve depo olarak kullanılan ve bir bölümü üç katlı olan sarayda 3 giriş, 6 salon ve 26 oda bulunmaktadır. Rutubete ve sıcağa karşı önlem olarak, döşemeleri Mısır'dan getirilen hasırlarla kaplanmıştır.
Boğaziçi'nin Anadolu kıyısında özel konumuyla dikkati çeken Beylerbeyi Sarayı'nı aynı dönemlerde yapılmış Osmanlı saraylarından ayıran ilginç özellikleri, yamaçlara doğru setler biçiminde yükselen ve bu yüzden "Set Bahçeleri" adıyla anılan bahçeleri ve bu bahçelerde bulunan köşklerle, eski saray kompleksinden kalan büyük havuzdur.
Batı ülkeleri ile ilişkilerin güçlendiği bir dönemde yapılan Beylerbeyi Sarayı'nın ilginç mimari örneklerinden biri de, Set Bahçeleri'nin altından geçen tarihi Tünel'dir. Tünel'in ortasında yer alan çeşmenin kitabesinde Sultan II. Mahmud'un adı geçmekte ve yapının tarihlendirilmesinde önemli bir ipucu oluşturmaktadır. Üst set bahçesindeki büyük havuz ve Mermer Köşk gibi II. Mahmud döneminden (1808-1839) kalan bu tünel, kıyı yolunun işlevini sürdürmesini sağlarken, aynı zamanda yüksek duvarların ötesi ile bahçeler arasındaki bağlantıyı da kurmaktadır.
Yapılan onarımlarla birlikte Beylerbeyi Sarayı, döneminin özgün bir yazlık sarayı olarak "Boğaziçi Kültürü" içinde yerini almış durumdadır.
