①開発期（天正一八年より慶長八年）
②興隆期（前期後より明暦三年）
③拡張・整備期（前期後より寛政期）
④安定期（前期後より天保期）
⑤動乱期（前期後より幕末期）
開発期、興隆期を経て、江戸の市街が発展整備された段階では港区の地域を語ることはできない。この時期の江戸市街は、主として江戸湾岸沿いの埋め立て地、豊島州崎といわれた現在の中央区の南部、浜町から新橋あたりまでの町割と、江戸城東部台地の大名、旗本屋敷造成が中心であったからである。
明暦3年（1657）1月18、19の両日にわたる大火は、江戸の市街地の60パーセントを焦土とし、10万人以上の焼死者を出した。江戸城の天守閣も焼け落ち、大名屋敷、寺社の焼失も数えきれない状態であった［図7］。
［図7］ 明暦の大火 焼失地図（西山松之助・芳賀登著『江戸300年』より作成）
第三の拡張・整備期は、この明暦の大火後に始まった。江戸城曲輪（くるわ）内にあった大名屋敷をすべて城外に移転させ、それにともない曲輪外の大名、旗本の屋敷を移動させ、それぞれに広大な敷地の下屋敷を新たに下賜（かし）し、城の周辺である八丁堀、矢の倉、馬喰町、神田にあった寺院を、深川、浅草、駒込、目黒など周辺地に移転させた。
このほか、木挽町、赤坂、牛込の沼地を焦土で埋め立てたり、防火堤や火除明地（ひよけあけち）の設定、主要道路の拡張、芝、浅草の新堀の開削、青山上水の建設等、寛文10年（1670）ごろまでに、江戸市街は飛躍的な拡張と整備がすすめられた。
このような江戸市街の再形成の中で、散村であった江戸城西南部の桜田、飯倉、芝、三田、白金、麻布地域の市街化が始まった。江戸市内の朱引（しゅびき）地が広がり、これらの地域の大半が含まれるようになると、そこに住む住民は代官所支配から町奉行支配に移された。
そして、新しく下賜された大名の下屋敷を中心に、江戸城曲輪外に出された有力大名の上屋敷建設のあおりをうけ、押し出され移転させられた大名、旗本の屋敷が次々に建てられるようになった。例えば高輪、白金地域をあげると次のようである。