大豆島(まめじま)地区には二つの寺跡かおる。西光寺跡は旧村の北東にあり、西光寺は天正年間、犀川満水のため流亡し、南高田の現在地に移ったという。西光寺島という字名が残っている。西光寺の伝では、大豆島にあったときは天台宗だったともいう。開山は親鸞の直弟山崎兵庫頭(ひょうごのかみ)宣孝(慶信)といい、南高田の西光寺の下を山崎渡という。洪水で流失した大豆島の古寺の名を継承したのかもしれない。宝樹院は平林にある浄土宗の寺で、大永(だいえい)二年(一五二二)の創立、天文年中(一五三二~五五)に焼失したので大豆島に移り、文禄(ぶんろく)年間(一五九二~九六)に平林に帰ったという。場所は村の北方というだけで明らかでない。
信濃の大部分が武田領だった天正(てんしょう)年間(一五七三~九二)ごろ、大豆島地区にはかなりの集落があったらしい。有力な武士も住んでいた。