治承四年(一一八〇)、源頼政は横暴な平清盛をはじめ平氏一統を滅ぼそうとして、後白河法皇の皇子高倉宮以仁王の平家討伐の令旨を諸源氏に下すことを策した。
以仁王の王女を養女にしている八条院暲子は、鳥羽天皇第三皇女として一〇〇余の荘園の本家でその一つに下河辺荘があった。荘司は下河辺行平である。八条院も平家の専横には業を煮やし、追討の企てには軍資金などの援助をしたことであろう。また、行平にとって頼政は弓術の師にあたっていた。かかる四角関係があっての挙兵である。謀略は洩れて園城寺にこもったが、下総出身では、千葉常胤の末子日胤など戦死し、五月二六日、頼政は宇治の平等院庭に自害し、王は南都奈良に向かう途、流れ矢に当たってなくなっている。
下河辺行平、政義等兄弟は、下河辺荘の郷兵多数を率いて参戦したが、事敗戦に至り、猪隼人(はやと)(古河徳星寺開山の祖)、渡辺競(きそう)(先祖に綱がいる)らと共に頼政の首級を携えて東下し古河の龍ケ崎にもたらし葬って、頼政神社として祀っている。