治承四年(一一八〇)八月一七日、叔父源行家より以仁王の令旨をうけとった頼朝は伊豆に挙兵し、目代大木義隆を殺したが、石橋山の戦には三浦義明が悪天候にはばまれて間にあわず、相模の大庭景親に敗れた。この時、梶原景時や飯田家義は頼朝に心をよせている。頼朝は八月二〇日、安房に船で遁れたが、豊田五郎景俊らが従っている。
　同年九月七日、木曽義仲も兵を信濃に起こした。寿永二年(一一八三)五月一一日には平氏の軍を砥波山(越中・加賀の境)に破った。磯辺(総和町)の勝願寺井上氏の祖、光盛は、赤旗を振って平家軍を迷わし悩ませている(「平家物語」)。七月には京都に迫った。かかる間に、頼朝の許には源氏累代の恩顧の東国の武士が集まった。下総では千葉氏である。この軍勢には相馬郡の郷士、そのうちには、水海道南部(絹西)の郷士が含まれている。豊田氏は、後で頼朝から不参をなじられている。下野の小山政光は在京中であったが、頼朝の乳母である政光の妻は、息子を連れて参陣した。頼朝はその子に片名を与え朝光と称させた。頼朝は治承四年(一一八〇)一〇月六日、鎌倉に入り、二〇日には富士川をはさんで平維盛勢と対したが、平家勢は水鳥の羽音に驚いて敗走した。源義経が奥州より来って黄瀬川に兄頼朝と面会したのは、この翌日であった。