時は、先住民のアイヌと渡海して来た和人が、蝦夷地での勢力交替ともいわれる大きな抗争・騒乱・殺戮が展開された時期であった。
寛文九年(一六六九)、シャクシャインの乱があって蝦夷地の各地が不穏な最中を与五左衛門は砂原で過ごし、抗争が治まった後に尾札部に拠点を移したことになる。
飯田与五左衛門家譜(試案)
延宝五年説については、初代与五左衛門が尾札部に来住したと伝える戸長役場起草の事蹟の記録があるだけで、これを裏付けるものは飯田家にも残されていない。
与五左衛門が明暦年間、砂原に来住したこともすべて言い伝えであり、明治一五年に官に報告した戸長役場の記録に拠るものである。
すべて遠い昔のことである。いい伝えがすべて虚構ではない管内各町村の沿革起源はいずれもその起源詳らかならずと記されている町村が多い。松前藩の祖にしてもその起源はかならずしもさだかではないのである。
むしろ郷土は、延宝や明暦のそれ以前から亀田村の人びとが、蝦夷地ヲサツベへ、そしてウスジリ、シカベへと百年も二百年も三百年もの永い間、昆布採りに入稼ぎしていたことは、多くの古文書に記されている。
亀田八幡宮書上に、元禄年間、昆布漁民の安穏を祈願する神楽を奉納した記録がある。
延宝年間以前に、すでに多くの和人が昆布採取のために往来していたことは確かである。