愛宕は全町域が一個の突出した丘陵で、南北に細長く、北部および周辺には若干の低地を含んでいる。地形的には武蔵野丘陵淀橋面の最東辺の一部をなしている。
【愛宕山の形成】　NHK放送博物館がその頂部(二丁目一番)にあり、その建設のさい得られた土質柱状図が、この山の洪積世を語っている。一〇メートルの試錐岩芯(ボーリングコア)は上から約二メートルが植物の腐蝕土を含むやや乱れたローム層、その下約六メートルは赤茶色のローム層でその底部には小粒の軽石がまじり、さらに二メートルは灰色凝灰質の粘土、その下は薄茶色の細砂層であった。ロームは火山爆発のさい降灰が変化したもので、古い富士山噴火のもたらしたものと考えられている。この事実によって、愛宕山(やま)の江戸城堀土説は否定される。
　近世以降、江戸市街を望む名所となったが、それ以前はまったく存在を知られていない。沖積地が利用されるまで、主要幹線道路からも離れた丘陵の一端に過ぎなかったのかもしれない。
【愛宕神社】　ただ伝説として、経基、頼朝など源氏ゆかりの〝児盤水〟という湧水が山麓にあったと伝え、今日、山上の愛宕神社境内にそれになぞらえた滝が伝えられている。また、南部含海山と呼ぶ青松寺裏山墓地は道灌の物見ともいう。
　愛宕山(やま)という存在は、愛宕神社創祀とともに明らかで、社伝には慶長八年(一六〇三)九月、桜田の村民内藤六郎の宅地に社殿を建設したという。天正十年(一五八二)近江信楽で将軍地蔵をえた家康が、関ヶ原の戦いに戦勝を祈らせ成功した場所というので、その像を祀って創始したとある。九月二十二日から庶民参詣を許したというが、『慶長見聞集』の、「いまより十年余り前桜田の山へ愛宕飛給うという噂で登ってみたら御幣が一本立っているだけだったが、今はりっぱな社殿となっている」という記事にほぼ合致し、時期的に社の創建と山の知られた事実が判明する。
　ただ民間では、その後の地誌類を見ても、日羅を祀ると考えられた京都鎮護の愛宕山の分霊として信仰したことがわかり、京都から遠江鳴子坂、駿河宇津屋を経て、慶長のころ本多美濃守の家臣が江戸で祀ったという別説もある。そのため京都の愛宕神社が権利を主張して寺社奉行裁決となり京側が敗れ、江戸愛宕神社の独自性が認められた。しかし、この町名は京の愛宕山(さん)に負うものであることは疑いないので、その語源説は省略する。社の本体は勝軍地蔵であるとともに愛宕権現として神仏混交であり、別当として山麓の円福寺が支配した。維新後の神仏分離以来、京都愛宕に由来する火神信仰によって、主祭神を火産霊神として今日に至っている。
【青松寺】　山麓東南の青松寺(二丁目四番)は慶長五年(一六〇〇)に貝塚(千代田区)より移転、この町域に清岸院等が子院として開創した。慶長十年(一六〇五)には、真福寺が鉄砲州(中央区)の小庵を移して寺院とした(一丁目三番。境内に愛宕本尊勝軍地蔵日羅の銅像がある)。一丁目一・二番には幕臣の邸地が若干あった。なお、青松寺の墓地である背後丘陵で愛宕山に続くところは、海上を眺望する意からか含海山と呼ばれている。
　近世に町屋はまったくなかったが、明治三年(一八七〇)五月に芝愛宕町が現町域内に設定された。その位置は、神仏分離に廃された石段下の別当寺円福寺跡であったかと思われるが、とくにこの時期に町屋を設けた経緯は明瞭でない。明治五年に武家地・寺社地を合併、芝愛宕町一丁目となった。
　料亭愛宕館付属の五階建ての愛宕の塔が建設されたのは、明治二十二年(一八八九)で、震災前まで続いた。放送局の開局は大正十四年(一九二五)七月十二日で、「愛宕山」がラジオ放送の異称となった時代は昭和十四年(一九三九)までであった。この局舎は昭和三十一年に放送博物館となった。
　山下にトンネルが通ったのは昭和五年八月で、震災後掘り割るか越えるか検討の末、風致を考え都心に珍しいトンネルとしたという。
　戦後は都心化の度を深め、ビル化する四周を眺めているが、山上の樹木の多い風致と社殿の優雅は今日とくに貴重である。