鹿ノ瀬には高砂や須磨の漁師も網を入れに来て、もめ続け、さらに紀州加田浦（和歌山県加太）からも密猟に来たので、林の漁師が“詫び証文”を書かしたほか、四国からの密漁もあり、明治には四国対明石・淡路連合の大船団が衝突しかけた。