しかし高瀬氏もその命運を長く維持することは叶わなかった。鎌倉幕府は次第に在来の勢力を駆逐し、より政権に近い御家人を送り込んでいったのである。稲童においては、大宰少弐(だざいのしょうに)として鎮西へと下ってきた有力御家人の武藤氏(むとうし)がそうした役割を担うことになった。武藤氏は豊前国ほか筑前・肥前両国の守護も兼ね、九州において幕府の利益を代表する役割を負っていた。詳細な経緯は不明ながら、「相伝系図」によると建暦元年(一二一一)に種忠の子稲童丸(いなどうまる)は、大宰少弐武藤資頼(すけより)の弟宗平(むねひら)へと稲童名を譲与している。このころ鎮西では東国の有力御家人が、在来の領主層(りょうしゅそう)と半ば強引に養子縁組みを結び、実質的にその所領を吸収してしまう動きがしばしば見受けられる。おそらく高瀬氏と少弐氏の場合も同様だったのであろう。この後、高瀬氏の動向は杳として知れなくなってしまうのである。
　ここで注意しておきたいのは、武藤氏が何らかの偶然によってこの地を奪取したと捉えてはならない点である。西側を国衙と隣接する稲童の地勢的な条件は、おそらく豊前守護として国衙を掌握すべき立場にあった彼らからすれば、必然的に押さえねばならない地であったと見るべきである。後述するように、東に位置する平嶋(ひらしま)や天生田(天雨田)(あもうだ)荘が北条得宗家(ほうじょうとくそうけ)の勢力によって掌握されたのと同様、政治的に重要な意味を持っていたに違いない。稲童地区には豊前を代表する有力御家人宇都宮(うつのみや)氏の上陸伝承が伝えられていることもまた偶然ではないだろう。宇都宮氏が文治年間に九州へ進出するにあたり、この稲童の浦から上陸したという伝承は、前出の安浦神社の由緒書にも見えており(『京都郡誌』所収)、今でも宇都宮氏の本拠地であった犀川町木井馬場(きいばば)地区の人々は毎年ここに詣で、塩汲み神事を行っている。鎌倉時代初頭の流動的な政治状況のなかで、ともに東国から派遣されてきた武藤・宇都宮の両氏が、国衙周辺地域の主導権を巡り凌ぎを削っていたと見ることは、あながち誤りとは言えないだろう。
　さて、稲童名を高瀬氏から受け継いだ武藤宗平(むねひら)とはどのような人物だったのだろうか。『続群書類従(ぞくぐんしょるいじゅう)』所収の「武藤系図」には「此人在奥」と見え、奥州に本拠を据えていたことがわかる。この一流がどの段階で九州へと移動したのか明らかでないが、一三世紀後半には企救郡吉田(よしだ)村(北九州市小倉南区)に本拠を構えて、ここを苗字の地とするに至っている(以下、この一流を武藤吉田氏と記す)。別系統の「武藤系図」によると、宗平の孫資時(すけとき)から吉田と注記されており、それが一つの目安になる。資時は弘安の役で戦死しているから、これ以前には豊前へと遷っていたものと見られる。「相伝系図」によると、稲童名は宗平ののち資宗(すけむね)、覚実(かくじつ)、頼宗(よりむね)へと受け継がれている。その系譜は「武藤系図」と重ならない部分もあるが、一族内で相伝されていたことは確実で、鎌倉最末期には頼宗から、尼西如(せいにょ)なる人物に一期分(いちごぶん)として与えられていたことが分かる。