この弁慶橋を渡れば、赤坂区で最も賑やかな地域に入る。なお、区内の地勢が台地と低地に分かれ、台地は屋敷町、低地は町屋というのは麻布区にも共通した特徴である。しかし、赤坂区と麻布区は次の二点で大きくその特徴を異にしていた。
　まず、赤坂区では低地と台地の間に、各地から東京に集まってきた政府官吏や軍人たちの邸宅が構えられていたことである。例えば、『新撰東京名所図会』赤坂区之部をみると、赤坂台町（現在の赤坂七丁目の一部）は「大小官吏等の邸宅多し」、赤坂新町（現在の赤坂六・七丁目）の一部は「五丁目には小邸宅多し」、赤坂仲之町（現在の赤坂六丁目の一部）は「赤坂新町四丁目に面するの地は市廛を開けるも、其他は井然たる小屋舗なり」、青山高樹町（現在の南青山六～七丁目および西麻布二丁目のそれぞれ一部）は「多くは士人官吏等の居住にして、至て閑寂たる所なり」と記されており、青山高樹町を除き低地を中心として政府官吏の住宅街ができていたことがわかる。
　大正期、父親が田町の寄席一力亭の経営を引き継いだのに伴い、京橋区の泰明小学校から氷川小学校へ転校してきた多賀義勝は、その頃の小学校の様子について驚きをもって次のように回想している（多賀　二〇一三）。
 
　氷川小学校の友だちの中に、泰明小学校では見かけなかった軍人や役人の家の子が多かったことは、子供心に気づいていた。そして何か用事があると、友だちのお母さんがきれいな着物をきて教室へ現われるのが、いままで経験がなかっただけに不思議に思えたのだった。
 
　また、多賀は、下町では珍しかったお正月の歌留多会へのお呼ばれが嬉しかったとも記している。このように、軍人や役人の家の子が多いことは赤坂区の特徴の一つだったのである。