開基・沿革・宗派
　今から四八〇年余の昔、足利第十二代義晴公の治世中、大永七年（一五二七）、山城醍醐山の住僧であった頼澄法印（らいちょうほういん）が霊夢のお告げをかしこみ、一山の霊宝の不動明王を奉持して当地に下向（げこう）し一宇の堂を建立したのが、この寺の開基と伝えられています。ただし、史実としてはこの寺伝以前の永正六年（一五〇九）に出版された連歌師宗長（そうちょう）の紀行文「東路（あずまじ）のつと」に、宗長が善養寺に立ち寄ったことが記されています。江戸時代には徳川第三代家光公より十石の朱印領を賜り、末寺を統領する中本寺として法燈（ほうとう）を継いで今日にいたっています。現在は真言宗豊山派に属し、奈良県初瀬の長谷寺を総本山、東京都音羽の護国寺を大本山に仰ぎます。

仁王門
　本堂正面の朱塗りの山門です。寛保年間（一七四一頃）の建立で、昭和五十八年に改修されています。「星住山（せいじゅうさん）」の額は仁和寺（旧御室御所）真乗院の源証（げんしょう）大僧正の筆です。入口の両脇には仏教を護持する仁王像が安置されています。また、仁王像の裏側には影向の松に送られた大横綱と、ＪＲ小岩駅にある当地出身の名横綱栃錦（とちにしき）像の原型が飾られています。

本堂
　現在の本堂は間口十四間、奥行十二間、銅葺き屋根の木造で、弘化二年（一八四五）の再建です。本尊は徳川第五代綱吉公の帰依を受けた筑波山知足院（ちそくいん）の隆光（りゅうこう）大僧正が請来した地蔵菩薩で、とくに延命のご利益があると伝えられています。正面入口に掲げられた「金剛場（こんごうじょう）」の額は、仁王門の「星住山」の額と同じく源証（げんしょう）大僧正の筆です。

浅間山噴火の供養碑
　天明三年（一七八三）七月六日（新暦八月三日）信州浅間山が大爆発を起こしました。噴出した火砕流は麓の村々を押し流し、多くの村人が犠牲になりました。その瓦礫とともに、吾妻川（あがつまがわ）～利根川～江戸川約二〇〇kmの流れに運ばれて、おびただしい遺体が当地の中州に漂着し、船の運航に差し支えるほどだったといいます。その痛ましい光景を見かねた小岩村の人々が、当寺の住職に供養を依頼しました。この碑はその十三回忌にあたる寛政七年に建立されたもので、昭和四十八年に東京都の文化財に指定されています。また、二百回忌にあたる昭和五十七年に「浅間山焼け供養碑和讃（わさん）」を建立し、被害者の供養をしています。

四国八十八ヵ所霊場
　四国八十八ヵ所それぞれの霊場から頂いたお砂の上に祠を建て、ここを通ってお参りすると四国遍路をしたのと同じご利益があります。大正時代の創建です。

星降（ほしくだ）り松（二世）
　弘法大師が若き日に高知の室戸岬で『虚空蔵求聞持法（こくうぞうぐもんじほう）』という修行をしたとき、最後の日に天から明星が降ってきて、面前で光り輝いたと伝えられています。善養寺九世住職の賢融（けんゆう）和尚がこの修行をしたところ、同じく最後の日に明星が降ってきて境内の老松に留まり、この光景を目の当たりにした人々が、以来その松を「星降りの松」と呼ぶようになったといわれています。善養寺の山号（さんごう）「星住山」はこの霊験に由来します。また、降ってきた明星は「星精舎利（せいせいしゃり）」として今に伝わり、境内の密厳宝塔（みつごんほうとう）にお奉りしています。樹齢六〇〇年、高さ三〇mを誇った一世は昭和十五年の台風によって枯れてしまいましたが、現在は昭和二十八年に植樹された二世が元気に育っています。

昔話「影向の石」
　昔、小岩あたりを盗人があちらこちらの家に押し入り、荒らしまわったことがありました。
　あるとき、善養寺の不動堂にも入って大事な仏具などを盗み出し、大きなふろしきをかついで境内の大きな松の木の下まできました。すると、どうしたことか、片方の足が敷石にすいついてどうしても離れなくなりました。
　「おや。こまったぞ。どうしたんだろう。ウーン、はなれろ」
と、一生懸命に力をいれても、敷石にぴったりとついた足は離れません。
「あー、どうしよう。いくら頑張っても離れない。ぐずぐずしていると、つかまってしまう。こまった、こまった」
と、あわてていると、盗人の目の前に、右手に剣を持ち、左手になわ、炎を背にして、大きな目を開いて怒った顔をした「不動明王」が現れました。
　お不動さんは、盗人の胸元に剣をつきつけ、
「自分ではたらかないで、よその人のものを盗むなど悪いことばかりしている。この剣で突きさし、命をちぢめてやるか。それとも、こんごは盗みなどはやめて、まじめにしっかりと働くか。どちらにするか」
と、言いました。さすがの盗人も、
「もう、これからは、決して悪いことはいたしません。どうか、命だけはお助け下さい」
と、涙を流してゆるしを願い、心からこれまでの罪の深さをさとったとたんに、足が敷石から離れ、お不動さんの姿もみえなくなりました。
　松の根元に残っている四角い石は「影向の石」といって、そのときの盗人のわらじの足跡がついているといわれております。