大むかし、千曲川の下流の大滝山が崩れる前は、善光寺平は湖水の下にあった。皆神山は湖面の水の上に浮かんだような山であったので水上山と呼ぶようになり、その後、群神山、そして皆神山となったという。当時、湖水面の水は皆神山の一本松の上にある古墳のところまであり、南の関屋の水舟沢、東南の水面に出っ張った小渕にはそれぞれ舟着き場があった。皆神山の南側にある南大平古墳の築造に用いられた石類は皆神山産のものも使っているが、大石は藤沢川の石を用い、筏(いかだ)を造って運搬し古墳を造った。その後、この古墳の建造に使用された天井石などは、平林の道祖神の石になったり、皆神山の神社建立に使用したという。