淀橋面に属する丘陵が東辺で、沖積地に沈む地形である。
　四丁目八番の丸山南東麓にたまたま露出する貝層は、縄文時代後期の最終海進の最盛期から二千年は下った時代のものである。この貝塚は表面を採取観察されてはいるが、造成後大古墳築造地となって、かなりの部分はその下に隠れたものと考えられている。
【丸山古墳】　大古墳は長径一一二メートルの前方後円墳で、都下最大であり、年代的にも四世紀末か五世紀はじめという推定は都下最古に擬せられる。おそらく、のちの飯倉につながる低地水田と海浜の産業と物資集散の力をもって、ヤマト文化の影響を受け、南武蔵に勢威をふるった首長の存在を示すもので、その基盤となった生産性の上昇と労働力の集積を推測させる。
　また、その西北方ゴルフ練習場の一帯には、すでに破壊されたが小古墳が散在し、これは七・八世紀ごろの家父長的な武力階級の家族合葬墓とみられていたものであった。
　このほかにも、横穴古墳が存在したという報告などもあるが、それらは位置内容とも不詳である。
【幸稲荷神社】　歴史時代にはいって、この町域のもっとも古い伝承は応永元年(一三九四)の幸稲荷神社の創建である。これは現在の三丁目五番にではなく、当時は、大門(現一・二丁目間の東端)の付近にあったという。そうすれば飯倉神明(芝大神宮)が創建後移転していなかったとすれば、そのすぐそばに勧請されたことになる。当時この付近を岸ノ村といったといい、その地名から考えて、臨海臨川の土地であったとするのは自然である。ただし、神明の伝には岸ノ村の文字はまったくなく、大神宮の創建後移転という伝承のほうが正しいのかもしれない(芝大門の項参照)。この岸ノ村が鎌倉街道に面していたというのは、どの道筋をさすか不明であるが、あるいは三田台上を来た道が海岸寄りを通り、三丁目六番と四丁目一番間の永井坂へ出ていたものかもしれない。三丁目一四番に立つ四尊仏も増上寺来転以前に鎌倉街道に面してあったという説や、弁天池に天正年間女性が投身したということも街道筋ゆえに伝えられた話と考えられ、当地が交通要地となっていたひとつの徴(しるし)とはなるであろう。幸稲荷はのち移転したが、さらに正徳三年(一七一三)徳川霊廟用地となったため現地に移ったという。
　岸ノ村はのち岸町ともいい岸門前とも記した地図がある。江戸市中に組み入れられて岸町というようになり、位置も三丁目一・五番付近に集約されて幸稲荷の門前とみなされるようになったものであろうか。いずれにせよ幸稲荷は岸ノ村鎮守であった。
【増上寺】　近世になって、この土地を大きく変えたのは慶長三年(一五九八)の増上寺の来転である。天正十八年(一五九〇)家康は江戸入りに当たって事前調査の結果、菩提寺として貝塚(千代田区)の地にあった増上寺を選び、江戸城構築の関係と領主の権威にふさわしい土地としてここを選んだ。最近の研究によれば堂塔の完成は慶長一六年(一六一一)である。境内は現芝公園の大部分におよんでおり、中央本堂の左右に北廟・南廟が設けられ、東部・南部には子院・学寮等、北部に方丈、西部は風光に優れ、各所に三門(中門)以下、経蔵や東照宮(家康を安国殿として祀り明治六年神社となった。)など規模の大きさと壮麗を誇った。
　また、増上寺の別個の寺として光宝寺は元和七年(一六二一)に開創したが、増上寺境内の移転で芝岸町を経て永井町と呼ばれた現地へ移ったものという。金地院も江戸城内を経て元和五年あるいは寛永十五年に現地へ来た。寺社奉行設置の寛永一二年(一六三五)以前は宗教政策の元締めであった僧録司の寺である。なお、この寺の門前町は、文久元年(一八六一)境内の空地が増上寺へ支給された代地となったもので、門前町屋の成立としては時期的にはきわめて異例である。
　また、町域の西端の三丁目六番、四丁目一番の場所は武家屋敷と永井町や御霊屋御掃除屋敷であったが、永井町が文化八年(一八一一)に去ったあとも永井町と俗称した。
　維新後、現町域の大部分は増上寺の山号から芝三縁町一～五丁目とされたが、何故か一時これを廃して増上寺地中として町名同様に扱っていた。のち芝公園が地名同様に扱われることになり、(公園化は六年三月、同七月、七年一月、同七月の諸説あり)とくに都市施設としての公園をさすばあいと区別するためか、地名のばあい芝公園地と唱える習慣もあった。また、何番地といわず芝公園○号地○番と呼んだ。
　本坊・霊廟等中心の大部分は寺院として続いたが、方丈、子院・学寮等の場所は開拓使仮学校、海軍関係施設、大教院などがおかれ、明治末以降は弥生社(警官訓練場)、勧工場、日本赤十字社本社、青年会館、女子会館、プール、逓信官吏養成所等の敷地になり、住宅も建ちまじった。西部の一帯は樹木も多く公園としての実態が残り、紅葉館、三縁亭といった有名料理店がそのなかにあり、芝中学校、正則中学校なども北西部に建てられた。大震災の被害はなかったが、空襲には公園地内の大部分は焼失、三解脱門、経蔵ほかいくつかの建造物が残ったにすぎない。
　戦後は社会状況を反映して労働委員会館、総評会館が建設された。南東部にはスポーツセンターができたが、やがてこれはアパートに変わり旧霊廟敷地にホテルやゴルフ練習場ができ、さらには当時世界一の自立鉄塔・東京タワーが完成し、また、テレビ局東京12チャンネルが開局した。そして増上寺本堂の本建築が竣工するころにはabc会館、郵便貯金会館などの新しい建物が増加し都心的なビジネスビルが出現する一方、残された公園敷地は史跡にも富み、貴重な都心の緑地地帯となっている。
　なお、桜川河川敷上に造られた片門前の西側市街と、現四丁目一番の芝栄町の一部は、昭和四十七年一月の住居表示によって芝公園にはいり、同時に丁目を付した。また、昭和五十二年九月一日の住居表示まで芝栄町のまま残っていた三丁目六番は早くからオランダ公使館および芝給水場が町の大半を占めていたが、この状況は戦後も変わっていない。