『新羅之記録』によれば、字須岸全盛のころ隨岸寺という寺があったことをしるしている。宗派は不明であるが一説には曹洞宗と伝え、若狭から嘉峰和尚が来て建てたといい、当時の若狭交易の関係を物語っている。2世寂峰も若狭の人である。『福山秘府』によると同寺は、長禄3(1459)年松前に移り、文明18(1486)年焼絶したとあり、コシャマインの乱で松前へ移ったらしい。『愚意三心雑言集』には「此島(中略)寺社多くありしを、長禄、永正の乱に廃絶して、十が一つ残りしなり」とあるから、ほかにも寺社があったらしいが実証する資料がない。