平太弘貞のその後は不明であるが、吉富郷はその後まもなく天野遠景の所領となったようである。天野遠景は頼朝挙兵以来その側近として活動した有力御家人で、伊豆国田方郡天野荘(静岡県田方郡伊豆長岡町)を本拠とし、文治二年(一一八六)には鎮西奉行になった。天野遠景の子孫のうち南北朝期以降安芸国志芳荘を本拠とし、戦国期には毛利氏の家臣となった系統があり、その関係から『萩藩閥閲録』(巻七十三 天野求馬)のなかに遠景の系譜が所載されている。それによれば、遠景の所領として、伊豆国天野荘・同国狩野荘内牧郷・讃岐国本山荘内五分三・三河国蒲形荘・武蔵国多摩郡吉富・越後国加地荘等の地頭職、伊豆国糠田荘・三河国宝飯等の公文職、上総国小野田郷の惣公文職、武蔵国足立郡の領主職、同国大畑名の地主職が記されている(資一―621)。この史料については、遠景の系譜を後三条天皇の後胤とすることや、遠景を足立遠元の養子とすることなどの点で疑問がある(資一―621解説参照)。遠景が吉富の地頭職をもっていたとする史料もこれ以外には見られない。しかし遠景の所領のひとつであったという武蔵国大畑名は、船木田荘由井本郷内にあり、遠景子息政景は由井内横河郷を所領としていたことが建長八年(一二五六)七月三日将軍宗尊親王家政所下文(資一―631)に見られるほか、建武四年(一三三七)十二月二日足利尊氏御判御教書写(資一―666)、応永八年(一四〇一)六月日の天野顕忠譲状(資一―707)、寛正三年(一四六二)十二月十三日天野家氏譲状(資一―760)には由井本郷大畑村が見えている。
平太弘貞、天野遠景以降は、吉富郷に在地領主の姿は見られない。吉富郷はこの後室町期には鎌倉府直轄領となり、鶴岡八幡宮に寄進されたが(資一―700・701)、鎌倉府直轄領のなかには鎌倉期の北条氏領の系譜を引くものが多くあった(山田一九九五)。武蔵国衙に近接し、鎌倉街道が貫通して交通の要衝でもあった吉富郷は、早い時期に北条氏領となったものと思われる。
山田邦明『鎌倉府と関東―中世の政治秩序と在地社会』一九九五年