アイヌの人たちが住んでいた郷土南茅部のむかし、この地に初めて日本人が来住した起源は詳らかではない。
明治のはじめに、郷土の村や小字(部落)に言い伝えられていた和人来住の起源のうち、最も古い起源は今から三百余年前にさかのぼる。
延宝五年(一六七七) 能登国珠洲郡飯田村の人で、飯田屋与五左衛門が尾札部に来住したのを、尾札部場所(椴法花=恵山岬から鹿部・松屋岬まで)の和人定住の嚆矢とされている。
享保三年(一七一八) 南部佐井村(青森県)の人、東出屋多五右衛門が臼尻に来住したのを臼尻村の開基としている。ついで宝暦二年(一七五二)、陸奥国の人酒井屋重兵衛、仙台屋喜八郎が川汲に来住した。重兵衛については、出身が石崎の人とし来住を元和中(一六一五)と記しているもの(「巡回紀行」)もある。
明和三年(一七六六) 石崎の人佐藤屋彦太郎、福山の人松村屋が木直に来住している。
天明四年(一七八四) 江差の人高田屋彦右衛門が熊泊(大船)に来住した。このほか同年間に、箱館の人成田屋市右衛門と田中屋治郎兵衛が熊泊に来住している(巡回紀行)。
寛政二年(一七九〇) 福山の人工藤屋八太郎、小川某が古部村に来住したとそれぞれ伝えられている。
しかし、板木(安浦)と磯谷にも寛政一二年(一八〇〇)以前にすでに神社が鎮座していることを記した亀田八幡宮の書上(「神道大系」)がある。
昆布採りに和人が入稼ぎしたのは、古い古い昔に遡ることであること。そして和人が来住した地に神社を祀ったのも同年代の古いこととなる。(昆布の項に詳述)。