北部と南部が高く、赤坂見附から二丁目の北方にかけて谷地となっており、中央部には自然の池が今も残る。町域の大部分は紀伊徳川家の中屋敷となっていた土地であり、茜を多く栽培して「赤根山」と呼ばれていた場所の登り口となっていた町域東北辺の紀伊国坂（きのくにざか）が赤坂と呼ばれていたというのが町名の由来とされる。その他にも現赤坂五丁目の一部が赤土だったからという説や、染物屋が紅絹を干すため付近の坂が一面赤く見えたためという説、単に赤土の坂があったからという説などがある。
明治五年（一八七二）に武家地・寺社地に町名を及ぼして、赤坂表一〜二丁目、赤坂裏一〜二丁目、青山権田原町、青山六軒町、元赤坂町となった。明治四四年の市制町村制改正の際に赤坂表は単に表町になり、赤坂裏は伝馬町に改称された。また、明治五年に離宮となった旧紀州邸は同六年に江戸城の皇居が火事に見舞われた際に仮皇居となり、同二二年まで続いた。その後、東宮御所となり明治三一年に現在の迎賓館造営に着手、同四二年には洋風建築の最高峰として完成する。
一丁目の地域は近世では賑わっていたが明治維新後は次第に商家が減り、小住宅街化が進んだ。戦後になると都心化現象とともに自動車会社などができ始め、赤坂見附付近の立体交差路と首都高速四号線が景観を変えた。二丁目の旧東宮御所は国の施設として国立国会図書館、オリンピック事務局などに使用されたが、昭和四三年（一九六八）から改修工事に着工し、五年後に総理府（現内閣府）迎賓館となり、平成二一年（二〇〇九）には国宝に指定された。