明治以降に整備される重要な都市施設としては、ほかに公共墓地を挙げることができる。江戸時代においては寺請制度があり、すべての家は必ずどこかの寺の檀家とならなければならず、埋葬などは寺の管理するところだったため、墓地の確保はあまり大きな問題となることはなかった。しかし、明治維新によって寺請制度が廃止され、墓地と寺の紐付けが解かれたことで、墓地の確保が問題として浮上する。
　神仏分離令などの宗教政策の一環として慶応四年（一八六八）閏四月に神職とその家族は神葬祭に改めることを太政官が達し、その後、明治四年（一八七一）に神職の世襲が廃され、官職として取り扱われると、神葬祭も神職に限られなくなっていく。このため、神葬祭による墓地の確保が求められ、明治五年七月、東京府は青山百人町続足シ山（つづきのたしやま）（現在の南青山四丁目）と渋谷羽根沢村（現在の東京都渋谷区広尾）の二か所を神葬祭地として指定した。その後、一一月には新たに青山の郡上藩下屋敷跡（現在の青山霊園、南青山二丁目）など四か所が神葬祭地として指定された（小林　一八七三）。
　明治六年七月に太政官によって火葬が禁止され、さらに東京府に限っては、翌八月に朱引内での埋葬が禁止されたため、朱引内の寺に墓地があった人々はこの措置に対して大きな不満を抱いた。朱引内では人口の増加などにより土地の再開発が行われ、寺院や墓地が移転することも想定されるため、たびたび改葬となることが「人情ノ忍ヒサル次第」という理由であった。朱引内の住民に対しては、青山の神葬祭地をはじめ、東京府内に九か所の墓地を設定し、同地への埋葬が命じられた。これに伴い、青山の神葬祭地は青山墓地となり、仏式・神式を問わず埋葬が可能な公共墓地となった（小林　一八七三）。なお、火葬禁止は衛生上の問題や墓地の不足などの問題から明治八年に撤回され、火葬であれば朱引内における墓地への埋葬も再び認められている。
　明治二二年の市制・町村制施行に伴って、青山墓地の管理は東京府から東京市に移管された。昭和一〇年（一九三五）に、東京市営墓地を霊園と改称したことで青山霊園となり、現在に至っている。
　青山霊園は、各界における多くの著名人の墓所があることでも有名であるが、忠犬ハチ公も飼い主であった上野英三郎の隣に眠っている。（門松秀樹）