後白河法皇は、義仲・行家らに平氏を追討させ、五百余りの所領を没収して義仲・行家に与えたが、また頼朝を勲功の第一とし、早く上京せよとの使者をだし、義仲を牽制している。法皇は義仲を伊予守に、行家を備前守に、義定を遠江守にした(『吾妻鏡』建久五年八月十九日条、『源平盛衰記』)。義定は遠江守護で、国守(くにのかみ)をかねたのである。国衙機構をおさえようとする頼朝の要請があったかもしれない。
木曾義仲は野人で、貴族たちの感覚とまったくあわない。しかも凶作と戦乱のため、義仲軍は京都に入る年貢米をおさえて、よこどりしたからいよいよ貴族たちを憤激させた。義仲が孤立化するにつれて、法皇と頼朝とのむすびつきは、深くなってゆく。