西部南部が概ね高く東北の区境にかけて低くなっているが、一・二丁目間、五・七・八丁目と二・六・九丁目間を主な谷として、全体的に複雑な開析が展開されている土地である。
中世から一ツ木町・赤坂田町・赤坂新町の三つが主な町屋として栄えており、他に麻布三谷（さんや）町や麻布谷町、麻布今井町、御掃除町などがあった。明治維新後、明治二年（一八六九）には寺社門前や代地などの町名を整理し、同五年には武家地・寺社地に町名をつけていき、溜池榎坂町、溜池霊南坂町、赤坂田町七丁目、赤坂福吉町、赤坂表三丁目、赤坂中之町、赤坂檜町などの町名が新設、赤坂表二丁目、赤坂丹後町、赤坂台町、赤坂新坂町の改称統合町名が誕生した。明治二一年には陸化した溜池周辺に赤坂溜池町が設立された。
近代になると住み手を失い荒廃した武家屋敷も次第に復興して邸宅地となり、溜池周辺の新開地には写真館、印刷所、理髪店、牛乳店などの文明開化的な新店舗や工場が見られるようになっていった。また、現五丁目の近衛師団歩兵第三連隊、現九丁目の第一師団第一歩兵連隊が設けられたのも、この町域を特色付けていた。
関東大震災の被害はさほど酷くはなかったが、戦争中は空襲によりほとんどすべての町域が灰塵と化した。戦後は一九五〇年代中頃から復興が本格化し、東部から都心化現象が進んでホテルやナイトクラブ、レストラン、ディスコなどの独特の飲食街となるとともに、それにやや遅れてオフィスビルが増加し始める。従来からの住宅街の多くはマンション化していった。
オイルショック後は再開発が進み、一丁目には六本木一丁目にまたがる形で昭和六一年（一九八六）にアークヒルズ、五丁目には平成二〇年（二〇〇八）に赤坂サカス、九丁目には同一九年に東京ミッドタウンが完成するなど、住宅と商業施設やオフィス、コンサートホールなどの複合的機能を備えた大規模ビルが次々と建てられていった。