戦国時代、村上民部大輔(みんぶのたいふ)綱清が城主であった米本城は上杉家の家臣太田道灌(おおたどうかん)の攻撃を受けて綱清は戦いに敗れ、家臣七百名余りと共に氏神の境内に逃れ、全員自刃(じじん)したと伝わります。その結果、七百餘所(しちひゃくよしょ)大明神という社名になったとされます。(現在の七百餘所神社)道灌はこの時、現在の飯綱神社の場所に砦(とりで)を作り、持仏(じぶつ)の十一面観音に勝てばこの地に祀(まつ)るという誓いを立て、イチョウの木の下に埋めたとされます。しかし綱清は、江戸時代に佐倉藩の磯部昌言(いそべまさこと)が書いた『佐倉風土記(さくらふどき)』によれば、天文(てんぶん)・弘治(こうじ)年間(1532～57)に米本城主となり、永禄(えいろく)元年(1558)に落城して自害したとあります。道灌が臼井城攻めをした文明(ぶんめい)11年(1479)から80年近い開きがあり、綱清が道灌と戦うことはありえません。また実際は道灌ではなく道灌の弟、図書助資忠(ずしょのすけすけただ)が大将でした。地元の武将綱清と江戸城を築城した名将太田道灌が戦ったという地元の浪漫(ろまん)から生まれた伝説なのでしょう。