全町域が突出した丘陵地になっており、南北に細長く、北部には若干の低地を含んでいる。地形的には武蔵野丘陵淀橋面の最東辺の一部をなしている。近世以降は、江戸市街を一望する名所となった。地名の由来とみられる愛宕山の存在は愛宕神社の創祀とともに明らかになっており、天正一〇年（一五八二）に徳川家康が得た勝軍地蔵を祀った場所として知られている。
近世では町屋はまったくなかったが、明治三年（一八七〇）には芝愛宕町が現在の町域内に設定され、同五年に武家地・寺社地を統合して芝愛宕町一丁目とされた。明治二二年には料亭愛宕館に五階建ての愛宕の塔が建設され、関東大震災まで続いた。大正一四年（一九二五）には社団法人東京放送局が開設され、以降昭和一四年（一九三九）まで同局のラジオ放送が「愛宕山」の異称で親しまれた。なお、昭和五年には当時としては珍しい「トンネル」が愛宕山下に開通している。これは関東大震災後に道路計画が検討された際、風致を考えてトンネル工事が実施されたようである。
戦後になるとこの地域は都市化の度合いを深め、ビル化が進んでいる。なお、旧東京放送局の局舎は昭和三一年に放送博物館となっている。愛宕山の景観と緑を保全し、寺院等の文化環境と融合した再開発を目標に平成一三年（二〇〇一）、住居用と商業・オフィス用を分けたツインタワー方式の愛宕グリーンヒルズが二丁目に竣工した。