頼朝の関東平定段階で、最後まで抵抗した常陸平氏は、知家の常陸支配にとって脅威であった。一一九三（建久四）年五月二八日、曽我十郎・五郎兄弟による工藤祐経の敵討ち（曾我兄弟の仇討ち）が起こった。曽我兄弟はさらに頼朝に矛先を向けようとし、御家人たちはその警護に富士野に馳せ参じた時、知家は義幹を失脚させる一計を案じた。その時のことを『吾妻鏡』（頭注）は次のように伝える。

【吾妻鏡（東鑑）　全五二巻。鎌倉幕府草創期から中期（一一八〇～一二六六）までの歴史を幕府自身が編纂した歴史書。幕府や武家を中心とした記述であり、また執権北条氏の治世下で編纂されたため北条氏側による改竄・作為が含まれているが、鎌倉時代を知る上で欠かせない文献である。江戸時代には広く武家に愛好され、『吾妻鏡要目集成』などの注釈書や校訂書が多く著された。】