武蔵野丘陵淀橋面に属する丘陵が東辺をなし、沖積地にかけて沈む地形となっている。
域内に都内最大の直径112ｍに及ぶ前方後円墳である丸山古墳を有している。以前はその西方にも小古墳が散在していたが、現在は消失している。既に応永元年（一三九四）には幸稲荷神社の創建が確認できる歴史の古い土地柄であり、慶長三年（一五九八）には増上寺が来転してきたことで大きく変化したとされる。現在の芝公園の大部分は増上寺の境内であったようである。
明治維新後、町域の大部分は増上寺の山号から芝三縁町一〜五丁目とされたが、なぜか一時期はこれを廃して増上寺地中として町名同様に扱っていたこともあるという。また芝公園の名称も地名同然に扱われることとなり（公園化は明治六〜七年頃とみられる）、特に都市施設としての公園を指す場合と区別するためか、芝公園地と呼ぶ習慣もあったようである。
増上寺の本坊・霊廟などの大部分はその後も寺院として続いたが、方丈、子院・学寮等の場所は開拓使仮学校、海軍関係施設、大教院などが置かれるようになり、明治末期以降は弥生社（警官訓練場）、勧工場、日本赤十字社本社、青年会館、女子会館、プール、逓信官吏養成所などの敷地となっていった。関東大震災の被害は見られなかったが、戦時中には空襲で公園地内の大部分は焼失し、いくつかの建造物が残ったに過ぎなかった。
戦後は労働委員会館や総評会館などが建設され、旧霊廟敷地にはホテルやゴルフ練習場が造られていった。また昭和三三年（一九五八）には、当時世界一の自立鉄塔である東京タワーが町域内に完成している。公園としての芝公園は都立公園として整備されていった。平成一四年（二〇〇二）、増上寺と東照宮の間に港区立芝公園が開設した。