頼朝は「鎌倉殿」として同族と武士に対した態度は、範頼や遠江の御家人に対しても厳格であった。範頼は義経とともに木曾義仲を討ち、九州でも戦功をたてた。しかし頼朝とのあいだはしだいに疎隔し、建久四年(一一九三)五月、富士裾野巻狩の異変の時の失言で悪化し、八月二日範頼は起請文を書いて弁明する。しかし十日に範頼の家人当麻太郎が頼朝の寝所の床下から召し捕えられたので事態は急転し、十七日範頼は伊豆に流され、月末にここで殺されたようである。
　頼朝は、挙兵したはじめに、甲斐(山梨県)の源氏安田義定を第一線の守護とし、鎌倉に帰っている。その勢力の消耗をはかった政策でもあろう。文治元年(一一八五)五月、頼朝は遠江の御家人が自由な行動をすることを厳禁している。文治二年四月、遠江守護安田義定が、勝間田三郎成長の玄蕃助に任官したことを報告すると、頼朝は勝手に任官したことを憤激している。