［図4］ 江戸時代・安政2年 愛宕付近の図（『港区史』上巻）
当時、この地は外濠（そとぼり）を隔てるとはいえ、江戸城に近く多くの大名の上屋敷が集中したところで、「愛宕下大名小路」と呼ばれたところである。大名小路と呼ばれるところは江戸市中にはほかにもあるので地名を加えて俗称された。
大名小路の東側には、溝口主膳（越後新発田藩）・松平（伊達）陸奥守（仙台藩）・柳生但馬守（大和柳生藩）などの屋敷が並び、西側には田村右京太夫（陸奥一関藩）・秋田安房守（陸奥三春藩）・植村駿河守（大和高取藩）等の屋敷が連なっていた。このほか、田村小路・佐久間小路等も同様で、この周辺の大名屋敷の集中度は高い。これらの大名屋敷は、明暦3年（1657）以降形成されたものであるが、化政期後（1804～1829）は移転も少なく、ほぼ定着し、幕末期を迎えたといってよいだろう。
一方、明暦以降武家地の移動の中には、大名下屋敷の新設と、大名屋敷上地による旗本屋敷や御家人地の郊外移転があるが、これは江戸朱引（しゅびき）のまわりにあった港区地域に関係が深い。
旗本・御家人の屋敷が、青山・麻布に位置されたり、高輪・白金・麻布・青山に大名下屋敷が多く存在したのは、現在の港区地域が江戸時代に江戸の郊外にあたる地を含んでいたためである。
大名の屋敷のうち、上屋敷は原則として西丸下、丸の内、外桜田、愛宕下に集中させ、登城の便利を考慮したが、中屋敷は外郭の内縁に沿う範囲に位置させ、下屋敷は江戸の郊外とおぼしき地域をこれに当てた。
上屋敷は大名とその妻子の居住するところであると共に、江戸詰藩士の事務機関がおかれた。中屋敷は隠居、世子を住わせるほか、藩校なども設けられた。下屋敷はその位置からみて広大であり（江戸周辺に所領をもつ大名の中には所領地の一角に設けた場合もある）、馬場や教練所を置いたり、別荘や緊急時の避難場所とした。
これらの拝領屋敷のほか、江戸湾岸に蔵屋敷、百姓地を買収した抱屋敷をもつ大名もいた。
慶応2年（1866）当時の港区内の大名屋敷をみると、上屋敷は76カ所、中屋敷39カ所、下屋敷69カ所を数える。
近江彦根藩井伊掃部頭（かもんのかみ）（35万石）の江戸屋敷の規模は、桜田の上屋敷6万4960平方メートル（1万9685坪）・赤坂中屋敷4万6777平方メートル（1万4175坪）・千駄が谷別邸57万6823平方メートル（17万4795坪）・八丁堀蔵屋敷2万4千平方メートル（7277坪）となっている。
大名の屋敷の広さは、禄高により差異があったが想像以上に広大であり、これに全旗本1669人のうち14・4パーセントの241人が港区地域内に屋敷をもっていたことを考慮に入れると、港区地域の武家屋敷の占める割合が、寺社地とともに大部分の地域を覆っていたことが当時の切絵図からも読みとれる。