このとき駿河の目代(もくだい)橘遠茂は、駿河・遠江(静岡県)の武士を集めて平氏に味方し、遠江国の源氏横地・浅羽ら、藤原氏の相良・内田・井伊・勝間田らも反頼朝軍に参加している。
　頼朝の挙兵をきいた清盛は、孫維盛(これもり)を主将とする数万の追討軍を急派する。それに対抗するため頼朝は、甲斐(山梨県)源氏の武田信義と握手する必要があった。そして北条時政を派遣したが、重ねて使者を遣わし信義・一条忠頼らが駿河の黄瀬川(きせがわ)まで進出するようにもとめた。頼朝は、甲斐源氏とともに、平氏をむかえうつ作戦をとったのである。
　
　【富士川の対陣】十月十四日信義らは、いまの富士宮市上井出の北方で橘遠茂の軍と衝突し、敵を全滅させた。この戦果は、駿河と遠江の両国で平氏に味方しようとした武士のいきおいを挫く。頼朝は、十月十八日黄瀬川宿(きせがわのしゅく)(静岡県駿東郡清水町付近)に進み、甲斐源氏らと軍勢をあわせ、二十日富士川東岸まで前進して、維盛らの追討軍と対陣した。その夜に平氏は戦いもせず、逃げかえってしまう。この富士川から敗退ののち、維盛は遠江国府(磐田市)に留まって、京都からの援軍を待とうとしたが、これも実行できなかった(『山槐記』治承四年十一月四日条)。