元治元年(一八六四)に芝金杉・本芝の両浦から、町奉行所へ出した書類に、御林浦の成立事情が述べられている。これによると、万治元年(一六五八)に芝金杉の東海手(うみて)が約三町ほど、磯付から地方(じかた)の屋敷地にかけて御用地になり、因幡(いなば)鳥取藩主松平相模守の屋敷を築くことになって、そこに住んでいた猟師六戸が、大井村のうち御林という海岸沿いの場所に、代地を与えられて移転し、漁業を営んだので、ここを御林猟師町というようになったという。そして因州組と唱えている猟師が、御林浦成立以来の旧家で、芝金杉浦から分かれたものであるといっている。また、古くから漁場である芝金杉浦の猟師たちが移転したことで、品川浦と同様、御菜肴を献上するようになったという。
しかし芝金杉の猟師たちが移住する以前から、漁民集落が形成されつつあったと思われる。一説には慶長のころ、駿河から善兵衛・八兵衛という兄弟が移住して、鯛網使用を許可されて以来、猟師が増加したといい、また正保四年(一六四七)に駿河から、漁夫仁左衛門の一族が移住して、漁業を始めたともいわれる。芝金杉浦からは万治元年に先立ってすでに慶安四年(一六五一)に三郎右衛門・弥惣兵衛というものが移住している。万治元年の移転は、その前年の明暦の大火後の大幅な区画整理によるものであろう。大井村に移転させられた漁民は、先住漁民とともに、猟師町を形成していったものと考えられる。