天野遠景が九州へ下向する以前、上洛を命ぜられた源義経は、平宗盛ら捕虜を護送して関東へ下り、鎌倉の手前腰越(こしごえ)で待機させられて、兄頼朝の勘気が解けないことを悟ると、京へ引き返し、やがて後白河上皇へ画策して「頼朝追討院宣」を頂戴(ちょうだい)して反旗を翻し、兵を募ったが失敗し、「九国地頭」に任命されて、九州を目指した。このとき、叔父行家は「四国地頭」に補任(ぶにん)されたという。『醍醐寺雑事記』には、文治元年十一月三日、義経は「大宰大弐」に、行家は「豊後守」に任ぜられたという噂(うわさ)を記している。
　頼朝の名代として上洛した北条時政は、後白河上皇の責任を追及して「義経追討院宣」を引き出し、義経・行家を地頭とした例に倣って、国地頭の設置を認めさせたのである。
　義経を九州へ誘(いざな)ったのは豊後の大神(おおが)一族であった。緒方三郎惟栄(これよし)・臼杵二郎惟隆・佐賀四郎惟憲(これのり)兄弟がそれで、彼らは九州では最も早い養和元年(一一八一)二月、肥後の菊池二郎隆直らとともに反平家の旗を掲げ、いったん大宰権少弐(ごんのしょうに)原田種直らに屈服したが、寿永二年(一一八三)十月再度挙兵して大宰府を襲い、平家を九州から追い出した。
　元暦元年(一一八四)七月には、平家方として行動した宇佐宮を襲い、逃散して無人となった舎殿に乱入して、黄金の御験(みしるし)をはじめとする宝物を奪い去った。この訴えを受けた朝廷は、宇佐宮汚穢(おわい)の大罪人として惟栄兄弟三人の所領を没収し、身柄を上野国に配流した。
　ところが、三人は平家討滅の功労者であるという評価が出て赦免された。しかし、義経反逆の加担者であったことが判明し、再度配流された。