Beylerbeyi, 19. yüzyıl Bostancıbaşı Defterleri’nden de anlaşılacağı gibi, Osmanlı devlet ricâlinin, saraya yakın zengin ve nüfuzlu kimselerin sahilsaray ve köşklerinin bulunduğu, seçkin bir Boğaz semtidir. 19. yüzyılın ikinci yarısından sonra semte giderek daha fazla köşk, yalı, iç taraflara ahşap evler yapılmış, nüfus artmıştır.

Beylerbeyi, Boğaz sahil şeridine ve tepelerine bakıldığında Bizans dönemine ait izlerini üzerinde taşıyan bölgelerinden biridir. Bu da semtin o dönemde dahi önemli bir yerleşim yeri olduğunu göstermektedir. Ancak geniş ölçüde iskan edilmediği bir gerçektir. 1403’te Boğaziçi’nden geçen İspanyol elçisi Clavijo, Anadolu Yakası’nın tamamen Türklerin elinde olduğunu, iki yakada da hepsi harap halde kiliseler ve başka yapılar gördüğünü söyler. Ancak Boğaz köylerinin genelinde bir yerleşim dokusunun oluşmasına İstanbul’un fethiyle başlanmıştır. 16. yüzyıl ve sonrasında kentin ana bölgesiyle bağını kopartmayan konut yerleşimleri gözlenir. Bu dönemde kayık seferleri ile bir nevi dolmuşçuluk hizmetinin yapıldığı bilinmektedir. Bununla birlikte Boğaz köyleri camilerinin çoğunun, yapım tarihi 17. yüzyıla dayanmakta olup Boğaz’ın kendine özgü yerleşim düzeni 18. yüzyılda ortaya çıkmıştır. Boğaz’ın iskânı özellikle I. Abdülhamid’in saltanatıyla daha da yoğunlaşmıştır. Beylerbeyi’ndeki IV. Murad Sarayı’nın 17. yüzyıl ortasında yıktırılıp arsanın halka satılmasından sonra, köyün gelişmeye başladığı, I.Abdülhamid tarafından sahildeki caminin yapılmasından sonra gayrimüslim köyleri arasında bir Türk mahallesi olarak Beylerbeyi, önem kazanmıştır.

Semtin adının kaynağı net bir şekilde bilinmemekle birlikte, Beylerbeyi isminin 18. yüzyıl ortalarında ve sonrasında kullanıldığı düşünülmektedir. Eski adı Archai Phoizousai olan semtin Beylerbeyi Sarayı ve iskele arasında kalan mahalleleri Bizans döneminde Stavroz (İstavroz) diğer taraf ise Beylerbeyi olarak anılmaktadır. Stavroz isminin, eskiden semtte bulunan altın kaplamalı haçlı kiliseden geldiği söylenmektedir.

Boğaz sahil şeridi, 19. yüzyıl başından itibaren II. Mahmud döneminde önem gören ve sarayın itibar etmeye başladığı bölge haline gelmiştir. Beylerbeyi, 19. yüzyılda saraya yakın kesimin, zengin ailelerin ikamet ettiği, II. Mahmud’un Beylerbeyi Sarayı’nın yerine yaptırdığı ahşap sarayla, Beylerbeyi Camii’ni büyütmesi ve İskele Meydanı Çeşmesi’ni inşası ile ilgi duyulan bir boğaz semti olmuştur. Yüzyılın ikinci yarısından sonra semte giderek daha fazla köşk, yalı, ahşap evler yapılmış, nüfus artmıştır.

Bölgenin bu mimari yoğunluğu içerisinde daha küçük ölçekte kalan Amiral Arif Paşa Yalısı’nın üzerinde yer aldığı Deniz Hamamı Sokak, Çengelköy Caddesi’ni denize ulaştıran sokaktır. Sokağın denizle bitiştiği yerde Şemsettin Bey ve Amiral Vasıf Arif Paşa yalıları yer almaktadır. Sokak adını Beylerbeyi Deniz Hamamı’ndan almaktadır. Hamam, Beylerbeyi Yalıboyu Caddesi ile Çengelköy Caddesi’nin birleştiği yerde, üç yüz metre uzunlukta, dikine denize doğru uzanan toprak ve çıkmaz bir sokağın sonunda idi.

Deniz hamamları, Osmanlı’yı tuzlu su, kum ve güneşle buluşturmuş, Cumhuriyet dönemi plajlarının öncüsü olmuştur. Aynı sahilde bulunan kadın ve erkek hamamları arasında ses ulaşmayacak bir mesafe bulunur, aralarında sandalla dolanan bekçiler olurdu. Suya dayanıklı kerestelerle kuşatılan hamamın etrafında soyunma odaları, içkisiz büfe, tuvalet ve bir de cankurtaran bulunurdu.

İlçenin güneybatı sınırı bugün Boğaz Köprüsü’nün ayaklarından başlar, Çengelköy ile Havuzbaşı Sokak sınırında birleşir, Havuzbaşı Sokak’tan başlayan Çengelköy sınırı ise Vaniköy’e kadar uzanır. İki semt de boğaza komşu olmaları sebebiyle deniz kotundan başlar art bölümlerine doğru yükselirler.

Bölgenin zaman içinde kentleşmesi ile sahip olduğu mimari dokunun korunması gereğinden hareketle bir karara varılmıştır. 14.12.1974 tarihi ve 8172 sayılı kurul kararı ile dönemin o süreçteki kentleşmenin beraberinde getirdiği ekonomik ve sosyal baskıların, Boğaziçi ve çevresindeki yerleşmelerin bütün geleneksel değerlerini yok edecek ölçülere vardığına, İstanbul’un tarihi karakterinin bu en önemli verisinin yok edilmesi, aynı zamanda şehrin nefes alacağı en büyük rekreasyon alanının da yok edilmesi anlamına geleceğine kanaat getirilmiş ve sonuç olarak Boğaziçi’nin bugüne kadar ulaşmış doğal ve tarihi karakterinin korunması ve sağlıklı bir gelişmeye kavuşması için korunması gerekli sit alanı ilan edilmiştir.