建久元年（一一九〇）八月地頭としての「濫妨」を源頼朝からきびしく叱責された石川義兼は、しかし天野谷の地頭職を停止されることはなかった。頼朝の濫妨を止めよという命令を、義兼はおそらく受け入れたからであろう。なお他の二人も地頭職を停止された史料はないが、北条時定は建久四年に没し、大江公朝も建久五年までに藤原高盛（たかもり）と交代している。

　そんな義兼であったが、建久六年六月にいたって、天野谷の地頭職と下司職を辞退させられてしまった。義兼は両職を避（さ）り進める（辞退する）ことを記した避状と、今後両職について違乱しないことを誓った起請文とを作成しているが（「金剛寺文書」一）、両通ともに「前右大将殿（頼朝）の御気色（意向）」によって避り進める、と記している。頼朝の意向によって無理矢理辞退させられた義兼のやるかたない憤懣（ふんまん）が、にじみ出ているようである。

　では、どうしてそのようなことになったのであろうか。建久元年の事件の後、義兼には格別の「濫妨」があったとはみえない。問題は金剛寺が強硬に義兼の地頭職停止を要求したことと、それをうけ入れた頼朝の態度の変化とにあった。

　前述のように文治四年（一一八八）義兼から天野谷十余町の田畠の寄進をうけた後金剛寺では、建久元年・二年に河内国衙や八条院庁・後白河院庁に働きかけて、一部をのぞいて寺領田畠に対する国衙や朝廷の課役の免除をうけ、寺院としての組織を整備し、院主職は阿観の師資相承とすることも決定された。こうして金剛寺の寺院としての基礎は大きく充実したが、その上に立って金剛寺は、寺領天野谷から、地頭職そのものを排除しようとしたのである。その論理が、とりもなおさず前に引用した、義兼が源貞弘の旧領を「没官所と称して押領した」というものであった。義兼の具体的な押領や狼藉よりも、義兼が地頭職としていること自体が、押領であり、狼藉なのであった。詳しくは省略するが、その背後には、源貞弘の一族縁者と結びついた阿観の跡目争いもからんでいた。

　金剛寺の地頭職停止の要請は、地頭制の根本である源平内乱の成果を無視するものといってよく、金剛寺の本所である八条院筋の要請であっても、頼朝には簡単に承諾できない内容である。ところが頼朝は金剛寺の主張を認め、義兼を強引に説得したのであった。

　建久六年は、頼朝の内乱いらい二度目の上洛の年であり、義兼が天野谷の地頭職を辞退した六月には、頼朝は京都にいた。上洛の目的は、平氏によって焼討ちされ、ひとまず再興成った東大寺落慶法会に参列するためであったが、頼朝は京都にしばらく滞在して、これまで頼朝の支持者として朝廷の中枢にすえてきた九条兼実の政敵と接触している。それは頼朝夫婦が長年処遇に腐心してきた長女大姫の入内を画策するためではなかったかとみられている（赤松俊秀「頼朝とその娘」（『続鎌倉仏教の研究』所収））。それかあらぬか、この前後頼朝は朝廷に対し妥協と譲歩をくり返していた。大姫の入内は大姫の拒否によって成功しなかったばかりか、翌建久七年九条兼実は失脚し、朝廷では後鳥羽（ごとば）院政が成立、頼朝は内乱の成果の大きな部分を、みずから失うことになった。金剛寺による天野谷の地頭職停止要求は、結果的に絶好のタイミングでおこなわれた。

　建久七年六月二五日付で、「貞弘の領長野御庄を賜」った天野遠景（あまのとおかげ）が、長野荘内天野谷に対して今後は干渉しないという請文をだしている（「金剛寺文書」九）。天野遠景は伊豆国天野郷を本拠とし、源頼朝の最初の挙兵から頼朝のもとに馳せ参じ、文治元年の年末から建久二年にかけて鎮西奉行となって、九州における鎌倉幕府権力確立に尽力した有力御家人である。その天野遠景が、いつ源貞弘旧領の長野荘（地頭職であろう）を与えられたかは確証がないが、文治の地頭勅許の直後か、あるいは建久六年石川義兼が天野谷の地頭職を辞退した後か、であろう。文治であれば、義兼には長野荘は与えられなかったことになるし、建久ならば、義兼は天野谷地頭職の辞退と同時に、長野荘をも失ったことになる、いずれにしても、石川義兼と頼朝との関係には、何かのかげりがあったのかもしれない。

　そのせいかどうか、この後の石川義兼とその子孫の動きは、史料の上にほとんど登場しなくなる。石川源氏の本拠地石川荘の史料が乏しいせいもあるが、石川源氏の勢力は、以後大きく失墜したのではなかろうか。そして石川源氏が史料の上から姿を消したことで、南河内はえぬきの在地領主の活躍は、しばらく途絶えることにもなる。それは源平内乱の成果が南河内から後退したことであるが、源頼朝の意識の中でもそうであった。石川義兼の地頭職辞退直後には、頼朝は金剛寺に宛てて、今後もし濫妨があれば関東（頼朝）に申し出よ、と書状を書いているが（「同」一）、天野遠景の請文の後では、「何事も院宣・官符宣の旨に任せて、山寺（金剛寺）の沙汰にて候べし」と書いている（「同」九）。金剛寺領から、頼朝は完全に手をひいたのである。

　石川義兼の地頭に関する史料は三点にすぎないが、建久元年と建久六年という、幕府草創期の政治過程の重要な年にあたっており、その背後には南河内にも影響を与えた大きな歴史のうねりが、横たわっているのである。