古墳時代の象徴である古墳とは高い盛土からなる墳丘をもった墓を指し、その築造は３世紀半ば頃には始まったとされています。その後、多くの地域では7世紀の半ばに終焉を迎えましたが、東北地方などの一部の地域では8世紀に入った後も築造されます。
　都内では古墳そのものの築造は、4世紀前半までくだります。今のところ、大田区の扇塚古墳がこの時期の前方後方墳に位置付けられています。港区域では、芝公園の台地上に築造された芝丸山古墳が4世紀後半の築造とされ、現在、区内で知られている最も古い時期の古墳です。港区域では5世紀代の古墳は知られていませんが、6世紀から7世紀にかけて今の芝公園の台地上に10基を超える円墳が築造されました。多くは芝丸山古墳の周囲に集まっています。明治31年（1898）に7基の発掘調査が行われ、封土が小さく石室が小規模であることが確認されています。人骨は、複数の古墳から数人分が出土し、埴輪がみられた古墳は4基でしたが、すべての古墳から副葬品が出土しています。芝丸山古墳群と名付けられたこれらの古墳に葬られた人びとは、この地域の有力者や家族等であったと考えられます。
　古墳時代のむらの跡は、港区内の各所で発見されています。とりわけ、赤坂から麻布にかけて、飯倉、三田や高輪の台地上で複数の竪穴建物跡（住居跡）が検出されており、芝の低地にも人びとが進出していたことが明らかになっています。
　7世紀代の港区域の様子を伝える遺跡や遺物はほとんどみられませんが、8世紀に入ると考古学的資料は豊富になります。とくに、高輪から三田にかけての台地上で奈良・平安時代の集落が点々と発見されています。高輪台地の中央に位置する承教寺（じょうきょうじ）跡・承教寺門前町屋跡遺跡では、8世紀前半の住居跡と考えられる大型の竪穴（たてあな）建物跡が検出されています。東海大学高輪台キャンパス内の港区No.123遺跡で発見された竪穴建物跡（住居跡）も、ほぼ同じ時期の遺構です。
　麻布、飯倉、三田や高輪の各地区では、8世紀後半以降も引き続きむらがつくられます。
　港区域の北半では、近江山上（やまかみ）藩稲垣家屋敷跡遺跡で、この時期の竪穴建物跡が1軒検出されています。赤坂台地では、筑前福岡藩黒田家屋敷跡第2遺跡で9世紀後半から10世紀前半（平安時代中頃）の竪穴建物跡4軒と土坑1基が検出されました。ここでは、南多摩窯跡群（八王子市）で生産された須恵器（すえき）や土師器（はじき）、鉄製Ｕ字形鋤（すき）・鍬（くわ）先、土錘（どすい）などが出土しています。麻布台地では、善福寺とさほど離れていない石見（いわみ）津和野藩亀井家屋敷跡遺跡で、9世紀前半の武蔵型甕形土器を用いた火葬蔵骨器が出土し、古代にさかのぼる可能性のある道跡が検出されています。
　港区域の南半に位置する伊皿子貝塚遺跡では、ウマの歯をともなう9世紀中頃（平安時代）の竪穴建物跡1軒が検出され、「万」の墨書（ぼくしょ）をもつ土師器坏が出土しています。また、奈良時代から平安時代前半に相当する8世紀後半～9世紀後半のウシの頭骨が出土しました。牛の頭部が雨乞いなどの儀礼にしばしば使われることが知られており、このウシの頭骨は何らかの儀礼に用いられた可能性があります。
　なお、令和2年（2020）現在発掘調査が進められている信濃飯山藩本多家屋敷跡遺跡では10軒を超す古代の竪穴建物跡が検出されており、調査成果に期待がもてます。