創建の年代は明らかでないが、飯沼旧記録によると正和年中(一三一二～一六)にこの地方を支配した遠山某公によって再建されたといい、またその後文明一一年(一四七九)遠山頼景の御台所お産の悩みのはてにこの観音にお祈りをされ無事男児を出産されたことにより、同氏が再建されたと伝わる。
この当時から天台宗出生山子安寺と称し、繁昌をきわめたときもあり、戦乱疲弊の長い間無住となり荒れはてた時代もあった。
なお現在地に祀るようになったのは、寛文一一年(一六七一)吉村氏の手によって再建されてからのことで、それ以前は別の場所にあった。元禄一六年(一七〇三)飯沼村差出帳によると、
一 子安観音堂 堅三間横二間御座候御事 と記されている。
ある時、村長吉村氏に夢のお告げがあり、急いで駈けつけてみると、この観音像が今しも盗賊によって奪いとられようとしているので大声をあげて村人を呼び集めことなきを得たと伝えられる。
尊像は蓮華座まで含めて三〇cm、寄木作り玉眼・六臂の座像で、高名仏師の作であろうとうかがわれる。
Ⅷ-29 飯沼 子安寺