本堂の裏手は最近整地され、越谷霊園と名付けられた墓地が造成されているが、その右手古利根河畔の近くに小高い丘状の砂山がある。もとは竹林や権木に覆われた丘であり、戦時中は防空壕にも利用されたそうであるが、雀の御宿さながらに繁茂していた竹林は十年ほど前に花が咲いてすべて枯れるとともに草木もとり払われ、今は平坦な砂地に坊主のような山だけが残された感じである。
実はこの小山が蛇塚とも称される清浄院の開山塚である。『新編武蔵』によると、この塚から嘉禄元年(一二二五)在銘の板碑が出土したといわれるが、この年号銘が確かならば日本最古の板碑といわれる。しかし残念ながらこの板碑の所在は現在のところ不明である。越谷市ではこの伝説に豊んだ清浄院解明の一助にと昭和四十九年教育委員会によって開山塚の発掘調査が行われたが、塚の中央部から人間の歯数個と唐銭、それに油のにじんだ跡とみられる黒土が発見されただけで、そのほか手掛かりになるものはなかった。したがってこの円墳は誰のものか不明であるが、開山塚と呼ばれていることから、清浄院開山僧賢真上人の墳墓であることも考えられる。昭和五十二年市の史跡に指定され、その保存措置が講じられている。
本堂の裏手や開山塚の周辺はすべて整地されて面目一新したが、本堂の左手常緑木の生け垣を境にその先は昔ながらの墓地である。この中に年号銘などはすでに風化して読みとれない宝篋印塔墓石が幾つかみられるが、これは古い頃の清浄院住職の墓石らしい。これら歴代住職の墓石が無秩序に置かれている一角に、清浄院二六世正僧正司教通誉上人の墓誌がある。これには「明治十六年三重県桑名市ニ誕生、四十二年宗教大学卒業後ハワイハマクワ仏教会堂四世トシテ十二年布教、大正九年帰郷諸寺ヲ歴任」して清浄院第二六世の住職になった。この間東京蒲田光明幼稚園を創設、さらに浄土宗布教師会副会長を勤め仏教会に貢献したが、昭和三十八年八一歳で没した。会向（えこう）者は仏教会の役員をはじめ信徒など三千余人を数え、いかに徳望の厚かった僧であったかの旨が、ここに刻まれている。
