日本における古代国家の成立は、一般に、大化二年（六四六）の大化改新によるとされている。国家が成立するためには、領域支配、すなわち支配のための地域区分を必須とするが、同年の大化改新詔（たいかのかいしんのみことのり）の第二条で、国郡制（厳密には大宝律令制定以前は国評制）の施行が宣言された。現在の港区の領域は、令制下の「武蔵国」に含まれることとなった。
　このことについて詳述する前に、大化前代の当地の状況についてまず説明しておこう。「国家」と呼ぶには、あまりに未熟であった（領域支配が達成できておらず、血縁原理を中心とした氏姓制ないし部民（べみん）制といった族制支配が基本であった）ヤマト政権の時代、この地にも確実にその支配は及んでいた。ただ、その詳細を伝えるものの多くは、『古事記』『日本書紀』（以下、両書を併せて「記紀」と略称する）にみえる崇神天皇の時代のこととされる四道将軍の派遣、あるいは景行天皇の時代のこととされる日本武尊（やまとたけるのみこと）（倭建命）の派遣といった神話や伝承であって、正確にその実態を明らかにすることは難しい。
　令制以前に、古代の関東地方が「あづま」（我姫・吾嬬・吾妻・東）と呼ばれていたことはよく知られている。「あづま」という語の起こりは、記紀にみえる件の日本武尊の東征伝説による。景行天皇から東方の蝦夷（えみし）征伐を命じられた日本武尊は、その途上において、妻である弟橘媛（おとたちばなひめ）を追慕して「吾嬬（あづま）はや」と嘆いたという（『日本書紀』景行天皇四十年是歳条。『古事記』中巻にも似た記事があるが、意味合いが異なる）。『日本書紀』ではその地を「碓日嶺（うすひみね）（坂）」（現在の碓氷峠の語源であるが、当時と現在とでは交通路がやや異なる）とし、『古事記』では「足柄」坂とする。こうして記紀にみえるこの「あづま」の語が東国を意味するようになった。国語学的には、「あ」は接頭語で「つま」は端の意味とされ、ヤマトからみた東の端にある辺境を指す語であるとされている。
　ただし『古事記』と『日本書紀』とでは右にみたように「あづま」の起点が異なるが（すなわち日本武尊の東征の経路が異なる）、これはそれぞれの説話の地理観によるのかもしれない。『日本書紀』では日本武尊は東山道を経由し、したがって後の東山道諸国が「あづま」の国、『古事記』では東海道を経由したことになるので、後の東海道諸国が「あづま」の国といわれたと解釈できる。
　どこが「あづま」の起点かについては、その後の史料も二つに分かれる。たとえば『常陸国風土記』冒頭では、国郡の由来について地元の古老が「古は、相摸国足柄岳坂より以東の諸県はすべて我姫国（あづまのくに）と称す」と言ったといい、『古事記』と同様、「あづま」を東海道と理解しているようである。また、律令中の公式令51朝集使（ちょうしゅうし）条に、地方から中央への政務報告を行う朝集使が駅馬に乗ってよいとされる範囲について、「東海道坂東、東山道山東」とみえ、その注釈書である『令釈（りょうしゃく）』や『令義解（りょうのぎげ）』は、坂東について「駿河と相摸との界の坂」（足柄坂）、山東について「信濃と上野との界の山」（碓日坂）としている。
　後に詳しく触れるように、律令制成立期の武蔵国は東山道に属していたので、『日本書紀』の地理観念に一致する。やはり後に触れる東国の国造設置の順に照らすと、東山道経由の故にその開発が遅れたとも理解できよう。
　こうして東国を「あづま」と呼ぶようになったことは、『万葉集』に東歌というジャンルが生まれ、短歌中にも「あづま」という語がみられるようになることから知られる。たとえば大伴家持の歌「すめろきの御世さかえむとあづまなるみちのく山に黄金花咲く」（『万葉集』巻一八・四〇九七）などが著名である。ただ『万葉集』の場合などでは信濃国などを含むこともあり、その範囲はやや流動的であった。
　また東国を「関東」と呼ぶようになるのは、昌泰二年（八九九）に、相摸国足柄坂と上野国碓氷坂に盗賊対策としてそれぞれ関が設置されてから（『類聚三代格（るいじゅさんだいきゃく）』昌泰二年九月十九日付太政官符）のことだという（『港区史』上巻、『新修港区史』）。ただし、この太政官符中に「関東」という語が出てくるわけではない。
　古代の史料では、「関東」の語は伊勢国の鈴鹿、美濃国の不破、越前国の愛発（あらち）といった三関（さんげん）の東の地を指すのが普通であった（聖武天皇の伊勢行幸を記す『続日本紀（しょくにほんぎ）』天平十二年〈七四〇〉十月己卯条など）。後に近江の逢坂関（おうさかのせき）より東方、またその諸国の総称となっていく。現在の関東地方を指すようになるのは、東海道の発達による。