高輪西台町の細川越中守の中屋敷は、寛永年間（一六二四～四四）に下賜されたものといわれる。その他のところも延宝年間（一六七三～八〇）までには大名屋敷地となったと考えられ、この状態は江戸時代を通じて、ほとんど変化がないといってよい。その中での変化といえば、天明から文政（一七八一～一八三〇）にかけて、高輪南町のうち、今の高輪四丁目の五・六・一三番あたりの地で、奥平大膳大夫・松平主水の邸地の一部が幕臣の屋敷地に小分割されていることぐらいであろう。
慶応元年（一八六五）の大名邸地の主なものをあげると次のようになる。
高輪北町 ○松平兵部大輔慶憲 下屋敷（明石藩 八万石）
○水野出羽守忠誠 下屋敷（沼津藩 五万石）
○本多伊予守忠貫 下屋敷（伊勢神戸藩 一万五千石）
下高輪町 ○山内土佐守豊範 中屋敷（高知藩 二四万二千石）
○蜂須賀阿波守斎裕 下屋敷（徳島藩 二五万七千八百石）
高輪西台町 ○細川越中守慶順 中屋敷（熊本藩 五四万石）
高輪南町 ○有馬中務大輔慶頼 下屋敷（久留米藩 二一万石）
○松平大和守直克 下屋敷（川越藩 一七万石）
○本多豊後守助籍 下屋敷（信濃飯山藩 二万石）
○奥平大膳大夫昌服 下屋敷（豊前中津藩 一〇万石）
○有馬兵庫守氏弘 下屋敷（下野吹上藩 一万石）
○島津修理大夫茂久 下屋敷（薩摩藩 七七万八百石）
○本多紀伊守正訥 下屋敷（駿河田中藩 四万石）
○加藤右京大夫明軌 下屋敷（近江水口藩 二万五千石）
二本榎西町 ○有馬中務大輔慶頼 中屋敷（久留米藩 二一万石）
○松平大和守直克 下屋敷（川越藩 一七万石）
（『港区の文化財』第6集）
一方、寺社の移転も大がかりにおこなわれ、明暦の大火をはさみ、慶安4年（1651）から万治2年（1659）に至る約10年間の移転数は江戸全体で154件にものぼった。浅草・下谷・谷中・牛込・四谷・赤坂・芝・三田などに新しい寺町がつくられた。
三田寺町の様子をみると、京橋八丁堀の寺院町からの転入が目立ち、林泉寺、歓喜寺、南台寺など19の寺院が移り、そのほか三田へ長松寺、随応寺、大信寺、三田台町に大増寺、伊皿子に上行寺、高輪に長久寺などが移転していることがわかる。寺社は、開府当時は市域の外辺部に設けられたはずであるが、江戸市中の拡大とともに市内地となり、その広大な敷地が都市機能の障害になったことや、寺社門前の町屋の繁栄が防火上好ましくないことなどが、この大がかりな移転となったのであろう。
こののちも江戸時代を通じ、寺社の移転は繰り返されている。なお、増上寺、青松寺は、慶長年間江戸城地割のとき現在地に移転させられており、芝西久保は神田北寺町、京橋八丁堀などとともに古い寺町として存在した［図8］。
［図8］ 寺院移転による移動先
次に、町屋の様子をいくつかの資料から探ってみたい。前述のように広大な大名屋敷と寺社の敷地で占められている港区地域で、早くから村落が都市化したところは、やはり城郭の外堀を囲む三六見付と多くの城門の周辺であった。その典型的な例が、元赤坂町、赤坂伝馬町にみられる。
古い町屋
「御府内備考」によれば、元赤坂町は奥州街道に沿った豊島郡赤坂庄下一ツ木村内にあったが、そのうちでもっとも早くから町屋ができ、家康の入国後に町奉行支配となって元赤坂町と称した。寛永一四年（一六三七）見付用地となり替地として赤坂門外に位置するようになった。このように起りの古い町で、享保八年（一七二三）より四〇〇人分の人足役銀を上納している。
また、桜田村と称した伏見町・善右衛門町・和泉町・鍛冶町・久保町などをふくむ七か町も、家康入府後、霞が関付近から虎の門外に移されたが、寛政六年に焼け、火除地として召上げられ、地続きの武家屋敷上地内に代地を与えられた。このほか、新橋から金杉橋にかけての東海道沿いに並ぶ芝口一、二丁目から浜松町一、二、三、四丁目あたりも古町の格式をもつ古い町屋である。（『新修港区史』「江戸の形成と港区地域」）
そして、増上寺を中心に高輪、品川と続く寺社の門前町、東海道、甲州、奥州、中山道などを結ぶ街道筋にある村落の市街化が進んだ。
また、武家地と同様に、強制移転により、中央部から移ってきた町屋も多かった。例えば、飯倉地域の「西久保新下谷町」の場合、寛永元年（1624）東叡山寛永寺建立により立ち退き、千住通りに替地、更に火災により元禄12年（1699）当時の町を二つに分け西久保に移された。「車坂町」の場合も、下谷町とほぼ同様の経過をたどり、同じ飯倉地域に移転しているのである。
一方では、当時郊外とされていた港区内から更に遠隔の地に替地された例もある。芝西久保城山町の住民を武蔵野の台地奥に移住させ、新田開発に従事させた（現、武蔵野市西久保）。これも火除明地、大名、旗本の替地などによる処置であったに違いない。更に、この大名、旗本、寺社の移転で、その御用を伺う商人、職人の同時移住などもあり、江戸時代の町屋の移転もめまぐるしかった。
［図9］ 町地の構成（『新修港区史』）
第四の安定期（化政時代から天保期）の町屋の様子を［図9］によってみよう。例えば、芝地域は、全95町によって構成されており、一般の町は19町（19パーセント）、武家関係の町10町（11パーセント）、寺社関係の町31町（33パーセント）、町並35町（37パーセント）という構成になっている。これを、江戸全体の数値からみると、一般の町19パーセント、武家関係の町17パーセント、寺社関係の町43パーセント、町並11パーセントということになる。江戸が文字どおり、武家の町であり、はじめ町割りされた古町以外の区域外で町屋として発展できる土地は、寺社の門前ぐらいでしかないことがわかる［図10］。
［図10］ 江戸時代の土地種別（『港区史』上巻）
また、芝地域の24町が、この文政末期にほかの地域から何らかの理由で移転してきた事実は、当時の江戸の町屋がかなり流動的であったことを示している。
化政期以後の朱引地の拡大にともない、芝、麻布地域の市街化がすすめられたとはいえ、麻布、青山の一部、白金の大半は、雑木林、田畑の広がる江戸郊外であったに違いない。だが、『東京府史』によると、この時代すでに芝地域（2）、麻布地域（1）、赤坂地域（1）の私塾があり、寺子屋は芝地域（6）、麻布地域（2）、赤坂地域（1）と記録されている。