ある日、旅の僧がこの辺りに着いたころ、夜もとっぷりと暮れてしまったので一夜の宿を願い出た。何軒かの家では冷たく断られたが、正直者のばあさんがいて快くその僧を泊めた。翌日、僧は宿の礼だと言って、ばあさんの家に生えている栗の実が全部落ちたら洪水が起きると告げて去って行った。
　　　ばあさんは村人にそのことを伝えて注意を促したが、老人の戯言として嘲笑う者がいても注意を聞き入れる者は一人もいなかった。そして、旅の僧が言った通りに栗の実が全部落ち洪水が村を襲った。助かったのは旅の僧の忠告を信じていたばあさんの家だけで、そこが島のようになった。やがて、そこはいつしか栗ケ島と呼ばれるようになった。
　
　日本全国には「白髭水」と呼ばれている洪水伝説が伝承されている。夜明けに白髪の老人が、大声で村人に大水が出るので早く逃げろと知らせたところ、そのことばを聞いて逃げた者は助かったが信じなかった者が多く死んだとか、洪水の前日に白髪の老人が川上からやってきて大水が出るので注意せよと言って走り去ると、程なくして洪水が襲ってきたという伝説である。
　高根沢町に伝承されている伝説では、「白髪の老人」ではなく「一夜の宿を借りた旅の僧」と、法力をもって水を湧き出させたり水を止めてしまう「弘法大師伝説」にかなり話の構造が傾いてはいるが、鬼怒川が大きく蛇行して流れる地域にある高根沢町が、繰り返し起きた洪水との闘いを持つ地域でもあったことを反映してか、水に対する畏怖の念が強く映し出されている伝説となっている。