台地は、台地そのものと段丘に分ける。台地は区の北西部で高くなり、区内最高地となるところは、赤坂台地(北青山3丁目)の海抜34メートルである。この地から東南東に低くなり、海岸低地を臨む高輪台地東端で海抜25メートル前後となる。
台地を刻む入り谷のおもなものは、溜池の谷、古川(上流は渋谷川)の谷で、この両方の谷はそれぞれ多くの枝谷をもち、複雑な地形を作っている。とくに、古川の支流である筓(こうがい)川の谷は深く台地に切りこんでいる。
これらの谷により、台地はほぼ東西に区切られ、台地と谷底の高低差は15メートルから20メートルにも及ぶところがある。特にその落差が大きいところは、溜池の谷と古川の谷の間にあり、それぞれ、海岸における岬のように突出した台地を浮かびあがらせる。赤坂・飯倉・麻布・高輪の各台地がそれにあたる。これらの台地にある小・中学校の校歌には、
「大東京都心の高台占め立ち めぐらす遠近緑の丘に 木隠れ並立つ 白亜の高窓」
(区立赤坂中学校・昭和30年制定)
「白雲にみどり映して 風薫る麻布この丘 ……照り映ゆる港を指呼に そびえたつ白き学舎」
(区立麻布小学校・昭和25年制定)
「みどりかがやく飯倉の 丘に明るくならぶ窓……海をはるかにこえてくる 風に青葉のそよぐ庭」
(区立飯倉(いいぐら)小学校・昭和30年制定)
など台地の景観を詠んだものが多い。
次に台地よりも低いが、低地よりは高い平担な地形となる段丘が、青山台地と麻布台地の南端(海抜20メートルから25メートル)、高輪台地の東縁部(海抜20メートルから25メートル)、三田段丘(海抜15メートルから18メートル)、溜池の谷の南岸部(海抜17メートルから20メートル)にみられる。これらの段丘のうち、高輪台地の東縁部の段丘はあきらかに海岸段丘と考えられるが、他は河岸段丘か海岸段丘か明確ではない
武蔵野台地と段丘の地層をみると、すべて関東ローム層とローム質粘土におおわれ、この二つの層は、10メートルから13メートルの厚さに達している。関東ローム層は、そのほとんどが富士山の噴火による火山灰であり、ローム層下層部にある黄色の軽石は箱根火山の噴出物である。このように、港区の台地は、秩父に発し、関東平野南東部をおおう武蔵野台地の東端にあり、東京湾岸低地に大きな落差で、しかも複雑な入り谷を形成しながら落ちこんでいるところから、前述のような著名な急坂が生まれ、市中を山の手と下町に区分した。
更に、この台地の懸崖のいたるところからの湧泉を、生活用水とする居住地域がつくられていった。江戸時代の浮世絵の空にみられる黄じんは、ローム層の土壌をまきあげる冬から春にかけての乾いた季節風によるものであった。