西部南部がおおむね高く、東北の区境へ低くなっているが一・二丁目間、五・七・八丁目と二・六・九丁目間をおもな谷として、全体に複雑に開析されている。
【一ッ木】　中世までは、豊島郡で、大部分が下一ッ木(ひとつぎ)村(または一ッ木村)のうちで、南の一部が今井村へかかっていたかと推測されるが、明確な境界があったわけではない。
　赤坂の地名については元赤坂の項で述べるが冠称となる時期は後述する。今井の村名は今井四郎兼平の居城が五丁目一～三番にあったという伝説がある。地名としては村名・町名そして今は通りの名である一ッ木が古く、大永四年(一五二四)小田原北条氏の江戸城攻撃を記す軍記物に、一ッ木原に勝閧(かちどき)をあげることがみえ、永禄二年(一五五九)の『北条役帳』に一木貝塚の地名がある。
【一ッ木の由来】　『新編武蔵風土記稿』は、明和四年(一七六七)十月から分村して紀州邸(元赤坂の項参照)を隔てて上下(かみしも)の二つに分けたとあるが、文政の『赤坂一ッ木町書上』は、永禄十年(一五六七)秋元頼母が武州豊島郡貝塚領人継原を開発して人継村と唱えた草分けで、残らず山畑であったのを家康江戸入り(一五九〇)のとき伊賀者一四〇人に支給して百姓町屋になったとし一木と書くのは延宝三年(一六七五)からとする。
　このとき一木としたのは氷川明神勧請の社殿脇の銀杏の大木が神木でそれにもとづくというが、一木の表記は前述のとおりそれ以前にある。むかし奥州街道がこの地を通り人馬が絶えないので人継村といったとの説もあるが、ほかに四谷くらやみ坂薬王寺の榎を一木(ひとつぎ)といい、赤坂清岸寺にも同じく薬師如来と榎の大木があって一ッ木薬師の称があり、これによって人次の文字を改めたと伝えるものや下一木の起こりの大木は氷川弁天の社の榎との伝えもあり、氷川弁天は赤坂氷川社の旧地なので銀杏、榎の別もさだかでない。また、一木を一木町としたのは元禄九年(一六九六)のころであるらしい。この年町方支配になった。
　近世の一ッ木町は、現赤坂四丁目一・二番の東辺と同三番の東北南、今日の一ッ木通り西側北半に元町があり、文政期には二・五・六・八丁目の各所に五ヵ所の飛地があり、またほかに、元禄八年に受けた代地が現三田四丁目一二番あたりにあった。このそれぞれが農業集落であって、伊賀者の収入源となるよう給地されたのであろう。これが街道集落を意味する人継村であったかどうか、その位置から考えて尾根筋を通ったとする中世以前の街道とは多少ずれがあるので明らかではない。
【溜池】　慶長十一年(一六〇六)と推定されるころ大名浅野幸長(よしなが)がその父の逆意を許した家康の恩に応じ、その求めで、町域東北辺の山王台との間に人工湖を造成した。いわゆる赤坂溜池で、現赤坂一丁目一〇番東端から同二丁目九番の南辺へかけ長大な堰堤を完成した。成功の印(しるし)に榎を植え、この榎は明治二十二年(一八八九)の道路改正まで数本が残り、榎坂の坂名と町名の起原となった。もっとも、これは桜田の名主が植えた箕輪(みのわ)榎とも、古街道を示す里程の榎ともいう説がある。溜池の西南辺には柳を植えて土手を強化したので柳堤の称があったが、やがて柳は除かれた。溜池を『北条役帳』の桜田の池とする説もあるが、溜池の名が他動詞名で人造湖らしいこと、明治に堰堤を僅か除却しただけで陸化したことなどから、細流はあったとしても天然の池沼とは考えられない。
　溜池は江戸城外堀の一環だが、同時に、「明暦図」等に上水源の表現があるので、玉川上水開通以前の城南への給水ダムであり、鯉・鮒を放し蓮を植えて風光明媚となり、浮世絵などに描かれる一名所になった。
　溜池の上と呼ぶのは江戸都心からみて霊南坂上の高台をいい、ここには嶺南庵(坂名の由来)が慶長十五年(一六一〇)に、翌々年泉岳寺も開創されている。嶺南庵は東禅寺と改称して寛永十三年(一六三六)に、泉岳寺は同十八年にそれぞれ高輪の現在地へ移った。
【赤坂田町】　寛永十二年(一六三五)ごろ赤坂門の堀普請のとき土置場となったところへ、南伝馬役らがその功で望みを申し出て、翌年元赤坂の伝馬町同様に七百間間口で六一間を一括給地され、その翌年島原の乱後に地割をし、田地だったため一～三丁目を作り田町と唱え、南伝馬町の家持たちが下屋敷として持った。四・五丁目は正保年間(一六四四～四八)からしだいに町屋となり、伝馬役を勤める規定で近辺の希望者へ渡した。これらはいずれも古町として待遇され、現三丁目九～一一番、二丁目一三番であった。赤坂の冠称は地域として赤坂見付完成ごろから用いられるようになったらしいことが赤坂田町の成立から察せられる。田町は港区内だけでも西久保田町、芝田町など多くそれを区別する赤坂の地域称が当時から必要だったはずで、田町成立は元赤坂町の集落発生よりは遅れているので、元赤坂から拡散したと考えられる。
　また、当時から田町二丁目中央に寛永十二年(一六三五)から専覚寺があったが、寛文十二年(一六七二)に移転してきた成満寺と合併、ここには時の鐘があり、田町三丁目には寛文以来著名な赤坂鍔(つぼ)の工人が住んでいた。
【赤坂新町】　現赤坂三丁目一四～二〇番、五丁目一番、三丁目五番と九丁目一一番の南辺にあった赤坂新町一～五丁目は、まず右の一ッ木町と田町の間の地域が新町一丁目の部分を寛永十七年(一六四〇)と翌年にわたって幕臣が拝領、寛文八年(一六六八)町家作を許され、延宝元年(一六七三)から町奉行支配になった。
　新町二～三丁目は、やはり一ッ木村の用地だったらしいが、はじめ寛永十八年武家方の町並屋敷となり、元禄九年(一六九六)坊主・小普請らの拝領町屋敷となった。町名は付近の両町より新しくできた町の意味かという。
　四・五丁目は、もと松平安芸守中屋敷のうちだったが、南側低地の道路ぞいが上地され、他の武家が拝領していた。いつ町屋となったか不明だが、五丁目の南西部分は馬場のあったところで、元禄九年(一六九六)坊主衆一〇人の拝領町屋となったという。文政期(一八一八～三〇)の拝領者をみると坊主衆が多く、ほかに御細工所同心、小普請、伊賀者、御鉄胞玉薬同心、御作事方同心その他となっている。
【その他の町屋】　主な町屋は右の三町で、ほかに現一丁目一三・一四番の境界付近や二丁目二三番南部、二丁目二三番付近に麻布三谷町や同谷町、また八丁目一二番南東端と九丁目三～五番北辺に麻布今井町(赤坂に近いため『切絵図』では誤って赤坂今井町とする)があった。前者は元和元年(一六二〇)開拓以来の集落ではじめ今井谷村といい、寛文十二年(一六七二)今井本村と争いがあり、わかれて麻布谷町といった。中世の今井村の縮小過程とみられる。後者は、今井村の集落が江戸市街城郭拡大に適応しそこねたその状況を示すもので、承応三年(一六五四)に虎ノ門や付近外堀の建設用地、また武家への拝領地となり、田畑屋敷を失った。駕籠訴えをして「むれ」に代地を受けることになったが、ためらっていた間にほかの百姓が拝領したため、今井原のうちで三谷町・寺町・市兵衛町・谷町などへ散り散りに移った。麻布今井町はこの今井村の本村と唱え、谷町、台町を寛文十二年(一六七二)に分離した(六本木の項参照)。正徳三年(一七一三)町奉行支配となった。
　このほか、現町域に青山を冠称する御掃除町が現七丁目五・六番間の両側と四丁目一四番西辺の一部にある。青山家の屋敷が上地されて、掃除の者に一括給地されたという。元禄九年(一六九六)古来の町屋というので正式に許された。
【近世の寺社】　一方、寺院街の形成も顕著で、現五丁目の四丁目側、九丁目の五丁目側、四丁目一ッ木通り西側と一丁目中央部などにあった。
　一丁目では澄泉寺(寛永三年〔一六二六〕来転)、陽泉寺(明暦三年〔一六五七〕開創)など七寺があった。その陽泉寺の門前は起原等不詳だが、陽澄の音読みからねぶと町と異称された。
　四丁目では威徳寺(元和七年〔一六二一〕開創)、浄土寺(寛文五年〔一六六五〕に麹町から来転)、いずれも当時から門前町屋があった。五丁目では常玄寺(元和三年〔一六一七〕開創)、願性院(鈴降稲荷別当、元文四年〔一七三九〕門前町屋許可)、専修寺(門前町屋は寛永二年〔一六二五〕から)などがあった。
　六丁目で威徳寺が溜池端から承応三年(一六五四)に来転。七丁目では種徳寺(麹町から文禄三年〔一五九四〕に来転)、専福寺(赤坂一ッ木から寛永十二年に現在地へ移転)ほかがあった。ほかにも門前町屋が専福寺にあったが、これは起原不詳である。現九丁目には、五番東北部に妙福寺があったというが、近世かどうか不明である。
　寺院は以上のほぼ四地域に集中しており、とくに現七丁目のそれは寺町の里俗名をえた。いずれも町屋の成立に遅れて形成された様子がみえる。
　神社では、天武三年(六七五)または天暦五年(九五一)の創建伝承がある氷川神社は、古呂故天神ともいったらしく、名主九郎九の屋敷内にあったともいう。同社所在の古呂故が岡は現四丁目一番の赤坂小学校敷地東辺であったが、紀州邸内に生まれた吉宗が将軍襲職ののち享保十四年(一七二九)に現在地へ移して社殿(都重宝)を造営した。
　古呂故が岡の旧地は、氷川神社の旅所となり、弁財天の祠があって弁天山ともいった。移転と同時に門前町屋の氷川門前を作り、元文二年(一七三七)には氷川社僧屋敷が町家作を許された。本氷川明神は溜池端松平備前守屋敷内から承応三年(一六五四)、現在の氷川神社の北へきた。鈴降稲荷は、天慶年間(九三八～九四六)の勧請といい、伊賀者が家康を案内したとき天から降った鈴を社宝として四谷仲町で創建、周辺からの信仰が顕著であったが、元禄八年(一六九五)に現在地へきた。町内持ちの祠となっていた。末広稲荷も麻布坂下町から移ったといわれ、元禄四年(一六九一)まで旧丹後町東部にあったが、五年に坂下町に移り、元禄十五年以降七〇年間坂上に社があったもので黒鍬組鎮守という(現四丁目一三番)。
【武家地】　以上の町地・寺社地のほかは、武家屋敷地で近世も早い時期にその後のパターンが決まっている。実際の受給者の変化は繁雑であったが、幕末の大名屋敷では、糸魚川藩松平家、牛久藩山口家など八藩の上屋敷、萩藩毛利家、松江藩松平家など三藩の中屋敷、そして福岡藩黒田家、人吉藩相良家など七藩の下屋敷が置かれていた。江戸城に近い関係から相当数の上・中屋敷があり、全体としては下屋敷の多いこともよくわかる。
　なお、町屋には主に文化八年(一八一一)以後、防火空地となって代地を受けたものがある。元赤坂町の紀州邸への囲いこみの一ッ木町続きの代地や、溜池端の陸化による芝御霊屋御掃除屋敷・芝永井町・芝青竜寺門前・芝田町四丁目の各代地で、ほかに馬場・大的場・紺屋物干場などもできた。
　また、この町域に里俗の地名が坂名を含めてはなはだ多いのは、錯雑した町屋を区別する必要があったためかと推測される。今日の一ッ木通り、三筋通り、中通りはすでに近世に繁華だったらしく現三丁目南部には赤坂花街の前身ともいうべき麦飯と呼ばれる女のいた岡場所があったこともある。
【明治以降の移り変わり】　維新後、明治二年(一八六九)に寺社門前、代地等の町名を整理、五年には寺社地・武家地に町名を付して既存町名のほか溜池榎坂町、同霊南坂町、赤坂田町七丁目、赤坂福吉町、赤坂表三丁目、赤坂中之町、赤坂檜町の新設町名、赤坂表二丁目、赤坂丹後町、赤坂台町、赤坂新坂町の改称合併町名ができた。
　住み手を失って荒廃した武家屋敷もしだいに復興して邸宅地となり、溜池ばたの新開地には、写真館、印刷所、理髪店、牛乳店などの文明開化的な新店舗・工場がみられた。また、現五丁目の近衛師団歩兵第三連隊、現九丁目の第一師団第一歩兵連隊が設けられて終戦まで続いたのも特色であった。なおどんどんと呼ばれた溜池の水の落口の石を二尺余り除いただけで水は急速に失われ、明治七、八年ごろから陸化して維新後新設の渡し舟も銭取橋となり、明治二十一年(一八八八)十二月に赤坂溜池町が設立された。
　震災の被害はさほどでもなかったが、大戦中建物疎開に加え空襲はほとんど全町域を焼尽した。昭和二十年代末から戦後復興は本格化し高度成長期にはいって、町況は維新以来最大の変化をきたした。東部から都心化現象が進んで、ホテル、ナイトクラブ、レストラン、ディスコ等の独特の飲食街となるとともに、それにやや遅れてオフィスビルが増加した。旧来の住宅街は多くマンションとなって、これも特異な街況を示し、なおもビル化が進行中である。