武蔵野台地上に谷が複雑に入り組んでいる赤坂・麻布・高輪は極めて起伏に富んでおり、現在呼び名がつけられているものだけでも90余りの坂があるといわれています（図5-1-1・図5-1-2）。寺社に由来する霊南（れいなん）坂・魚籃（ぎょらん）坂・神明坂、大名屋敷や旗本屋敷にちなんだ南部坂・仙台坂・鳥居坂・丹後坂などからもわかるように、その多くは江戸期の開発と土地利用の進展過程で名付けられたものです。
江戸時代の港区域には数多くの大名屋敷が建ち並んでいました。江戸城から比較的近い愛宕下などには上屋敷や中屋敷、江戸の周縁に当たる武蔵野台地上には下屋敷が多く設けられ、その高低差を巧みに利用した庭園が営まれていました。
これら広大な武家屋敷の中には近代以降公共用地や軍の施設に転用されるものもありました。大名青山家の屋敷は明治5年（1872）に共葬墓地となり現在の青山墓地へとつながっていきます。旧芝離宮恩賜庭園や有栖川宮記念公園など市民の憩いの場となっている公園も大名屋敷内の庭園を最大限に活かしたものです。また麻布檜（ひのき）町（現在の赤坂九丁目）に所在した長州藩毛利家下屋敷は、陸軍歩兵第一・第三連隊駐屯地から、戦後は米軍将校宿舎、防衛庁本庁舎・陸上自衛隊駐屯地として利用され、その移転後に残された広大な土地には平成19年（2007）、東京ミッドタウンが開業しました。
軍の所在が花街の形成につながり、戦後赤坂に一流料亭街が生まれたことなども含めて、これも江戸における土地利用の在り方が近現代の地域の展開に影響を与えた事例といえそうです。
港区内には麻布善福寺（浄土真宗）、愛宕の青松寺（せいしょうじ）（曹洞宗）、西久保の承教寺（日蓮宗、のち高輪に移転）など中世に創建された名刹（めいさつ）もありますが、多くの寺院は江戸時代に入り、17世紀初頭以降に創建、あるいは移転してきました。芝の増上寺（浄土宗）、金地院（こんちいん）（臨済宗）、泉岳寺（曹洞宗）、愛宕の円福寺・真福寺（新義真言宗）、白金の瑞聖寺（ずいしょうじ）（黄檗（おうばく）宗）など各宗派の有力寺院も少なくありませんでした。また、芝・高輪・三田・麻布には中小の寺院が密集する寺町も形成されました。
図5-1-1 歌川広重 紀の国坂赤坂溜池遠景『名所江戸百景』
国立国会図書館デジタルコレクションより転載
元赤坂二丁目1番と千代田区との境。江戸時代坂の西側に紀州徳川家の屋敷があったことからこう呼ばれていた。
図5-1-2 潮見坂『江戸名所図会』巻七（部分）
国立国会図書館デジタルコレクションより転載
現在の三田三丁目2番、四丁目14番の間。坂の町には芝浦の海を一望できるすばらしい眺望スポットも多かった。
図5-1-3 「東都麻布之絵図」『江戸切絵図』尾張屋版 嘉永4年（1851）
国立国会図書館デジタルコレクションより転載
麻布地域には白色で表される武家地が多く、これらの屋敷を主な得意先とする商工業者が住む町が形成されていった（灰色の部分）。また比較的規模の小さい寺院が集まり寺町を形成している（赤色の部分）。
僧侶や所化（しょけ）など膨大な人数を擁した増上寺にはその生活を支える俗人の働き手も相当数おり、越後国（現在の新潟県）から出てきた人が多かったといいます。近隣に長岡藩の屋敷もあったことから、芝地域では越後出身者による盆踊りが催され、江戸には珍しい盛大な盆行事として注目されていました。巨大寺院や江戸藩邸は江戸の中に息づく地方文化の拠り所ともなっていたようです。
ところで幕末には港区域の寺院に外国公使館が置かれました。善福寺のアメリカ公使館、東禅寺のイギリス公使館、済海寺のフランス公使館、西応寺のオランダ公使館などです。幕末に寺院を間借りするという形で出発した諸外国の公使館ですが、明治新政府は東京に用地を確保して貸し渡すという方針を採るようになりました。ここでも旧大名屋敷を多く擁していた港区域はアメリカ大使館やオランダ公使館を集積する地域となりました。
令和2年7月現在、日本に153ある外国大使館の内約80が港区内に所在しています。人口の8%近くを外国籍の方が占めるという国際都市港区の特性もまた江戸に由来していたのです。