倶利加羅峠で大勝した木曽義仲は、寿永二年（一一八三）七月末に入京、平氏は安徳天皇を奉じて西国へ逃れた。いわゆる「平家の都落ち」である。義仲には、後白河法皇から平氏追討の宣旨が与えられ、平氏は朝敵として追討されることになった。こうして義仲は平氏にとってかわるかにみえたが、後白河法皇や公卿の間で義仲の評判は悪く、たちまち対立をはじめた。いっぽう鎌倉を動かなかった源頼朝は、この間ひそかに密奏をおこない、寿永二年一〇月、東海道・東山道の諸国に対して、幅広い公権が宣旨によって与えられた。わずか二道とはいえ公権を与えられたことは、鎌倉の軍事政権が、それまでの反乱軍から、一転して公認をうけたことになる。頼朝に対する後白河法皇の期待が大きかった。

　対立は、義仲陣営内部でも深まっていた。義仲には、叔父の行家が協力していた。行家は、保元の乱後、紀伊（現和歌山県）熊野新宮に住し、新宮十郎と号している。前述のように以仁王の令旨を諸国源氏に伝えたあと、みずから兵をひきいて挙兵したが、美濃国（現岐阜県）で平氏の追討軍と戦って敗れた。その後鎌倉の頼朝のもとに参向し、所領の宛行いを要請したが許されず、両者不和のうちに、行家は義仲の陣営に加わったのである。そして義仲に協力して京都に攻め入り、義仲とならんで恩賞をうけた。だが、寿永三年一〇月、平氏追討のため出撃した義仲軍が、備前（現岡山県）水島の戦いで平氏軍に敗れたあたりから、義仲と行家の間はしだいに疎隔した。源頼朝と協調しようとする義仲に対して、行家は断乎反対したと『玉葉』は伝えるが、『平家物語』は、水島の敗戦後、行家は義仲を後白河法皇に讒言（ざんげん）したからだという。

　それはともかく、行家は単独で平氏追討の実績をあげるべく、寿永二年一一月初め京都を出発して、西国にむかった。この行家の軍勢の中に、石川義兼が加わっていた。義兼は出発直前の閏一〇月二七日夜、九条兼実の許を訪れ、行家は一一月一日に出発する（実際は八日）こと、義兼は行家に同行するため、明日まず河内の所領にむかうことを告げている。そのついでに、先述した対頼朝政策をめぐる行家と義仲の不和を伝え、行家は、「頼朝の前には絶対行かない、と内々議している」とも伝えている（『玉葉』寿永二年閏一〇月二七日条）。行家方の内々の議論まで義兼が知っているのは、軍議に列していたであろうが、京都を出発する行家の軍勢は二七〇余騎で、あまりに少ないと『玉葉』は記しているから、義兼は行家軍の有力な一員であったろう。なお義兼が兼実の許を訪れたのは、源貞弘が武者所の武士であったのと同様義兼は摂関家である九条家の侍をつとめていたからで、のち文治二年（一一八六）一〇月にも、摂関家の氏寺興福寺の法要に際し、義兼は代官と郎党を警国の兵士として参向させている（『同』文治二年一〇月七日条）。

　石川義兼は、治承四年（一一八〇）冬の石川城での敗戦の後、どこでどうしていたかは知るよしもないが、こうしてふたたび史料の上に登場し、源貞弘とは反対に源行家軍に属して、遠く西国めざして出撃していったのである。

　だが、平氏は、義仲に反撃しようとして、平知盛（とももり）・平重衡（しげひら）を大将に、『平家物語』によれば、二万余騎の大軍で播磨国（現兵庫県）室山に陣をしいていた。行家はそこへわずか五〇〇騎の小勢で攻撃をしかけたが、大勢には勝てず大敗した。そして播磨国高砂から船で和泉にわたり、それから河内へこえて長野城へ入ったと、『平家物語』は伝える（巻八）。『平家物語』は特に記していないが、長野城は石川義兼の本拠か、本拠のうちであろう。そして長野城に入った行家は、南河内から和泉方面に対して、一種の軍政をしいた。このころ行家は和泉国の八木郷（現岸和田市）など三カ郷の農民の訴訟に対して、国司に代わって裁決を与えていたことが、後の史料からであるが、判明する（久米田寺文書『鎌倉遺文』一〇）。行家は、頼朝派でも義仲派でもない、源氏第三の勢力を目ざしていたのである。

　行家・義兼の長野城は、木曽義仲にとって大きな脅威となった。寿永三年正月、義仲は後白河法皇に強要して征夷大将軍になったが、義仲追討の命をうけた源義経（よしつね）・範頼（のりより）の軍が、京都に迫りつつあった。そんな中で義仲は、正月一九日、腹心の樋口兼光（ひぐちかねみつ）に行家を討たせた。『吾妻鏡』は、兼光は石川判官代を討つため河内に出撃したという。石川判官代は、さきに平氏による石川城攻撃のさい生け捕りにされた、義兼の叔父義資（よしすけ）である。義兼のほか義資も、長野城で、行家と一体となっていたのであろう。義仲は、当面の敵を各個撃破しようとして、樋口兼光を河内にむかわせたのである。だが樋口兼光が南河内まで進軍してみると、すでに源行家・石川義兼は、紀見峠をこえて紀伊へ脱出してしまっていた。樋口兼光は空しく京都に引きあげるほかなかった。

　樋口兼光が河内に出撃した翌正月二〇日、源義経・範頼軍は京都に突入、木曽義仲は北国に逃れようとして、近江（現滋賀県）粟津で討死してしまった。源行家と石川義兼は、結果として木曽義仲の軍を分散させ、義経らの入京、義仲の没落を早めたといえよう。なお樋口兼光は、正月二一日河内から空しく引きあげる途中、山城（現京都府）八幡辺で義仲の討死を知ったものの強引に入京しようとしたが、生け捕りにされてしまった。そして義仲軍の一員として後白河法皇を法住寺殿に攻撃した罪によって、死罪にされた（『玉葉』寿永三年正月一九日条、『吾妻鏡』同正月二一日条、『平家物語』巻九）。