港区内でこれまでに発見されている古墳時代のむら（集落跡）は少なく、いずれも小規模なものである。こうした様相は、江戸時代以降の開発に伴い湮滅したことにもよると考えられるが、芝丸山古墳のような大型前方後円墳を築造した首長層が居住したと思われる大規模な集落あるいは居館跡については周辺地域も含め、今のところは不明である。また、これまでに見つかっている集落跡・包蔵地の年代は前期（四世紀）あるいは後期（六～七世紀）であるが、増上寺子院（しいん）群（No.22）では遺構に伴ってはいないものの、中期末葉（五世紀末葉）に比定される須恵器坏身が出土している。
　北側の淀橋台に立地する長門萩藩毛利家屋敷跡遺跡（No.9）では前期の竪穴建物跡一〇棟が検出されており、区内ではもっとも規模の大きい集落跡である。竪穴建物跡は、調査区内でもっとも標高の高い北側と南西側に五棟ずつ分布するが、隣接する未調査区や後世の削平・攪乱範囲を考慮すると、一帯には集落が形成されていた可能性も考えられる。これらの竪穴建物跡からは、土師器・ミニチュア土器・土製管玉が出土している。ミニチュア土器には垂飾品と推定されているものもあるが、土製管玉とともに竪穴建物内での儀礼に使用されたものと思われる。
　また、陸奥八戸藩南部家屋敷跡遺跡（No.99）では、前期の竪穴建物跡一棟・遺物集中区が検出されるとともに、遺構外ではあるが、滑石製勾玉（かっせきせいまがたま）が出土した。このほか、近江山上藩稲垣家屋敷跡遺跡（No.133）では、前期の竪穴建物跡一棟が検出されている。
　一方、南部の三田台では伊皿子（いさらご）貝塚遺跡（No.60）において、後期の竪穴建物跡三棟が検出されている。高輪台では、妙玄院跡・妙玄院門前町屋跡遺跡（No.159）において、前期二棟・後期四棟・不明一棟の竪穴建物跡が検出されている。
　東京低地では、薩摩鹿児島藩島津家屋敷跡第一遺跡（No.122－1）において土坑・溝が検出されており、前期の土師器片が出土している。さらに、越後長岡藩牧野家屋敷跡第三遺跡（No.190）では前期、播磨龍野藩脇坂家・陸奥仙台藩伊達家・陸奥会津藩保科家屋敷跡遺跡（No.98）では後期、愛宕下（あたごした）遺跡（No.149）では前期・後期の土師器片がそれぞれ出土している。