前出のように国家の仏教政策によって造営され、保護された国分寺ではあったが、平安時代になって律令政治の乱れとともに、寺の管理にかかわる国司や豪族などに寺領を侵されたり、有力寺院に合わされたりして、寺運も衰退し始めた。豊前国分寺は平安時代になって豊前国内の天台宗化の進むなかで、天台宗の傘下に入って広く活動していたらしく、豊後高田市長安寺太郎天(ちょうあんじたろうてん)(大治五年＝一一三〇＝作)胎内銘には奉造者の一人として豊前国師義暹(ぎせん)の名も見える。また南北朝時代になっても数か所の寺領を持っていたが、その一つとして西郷文書には次のような記録がある。
　　　　　　　　　　　　　　　　　(花押)
　　豊前国分寺領内塔田村政所職事、
　　右於被職者、令領知、恒例御年貢御公事等、無懈怠可致其沙汰者也、仍状如件
　　　暦応三年(一三四〇)十月廿五日
　　　　弓削田孫増御前所
　また「国分寺縁起」によれば、戦国時代には山門内に心海・永寿・誓願・地蔵・大坊・悟庵の六子院と郡内には福正院(柳井田)・善門寺(綾野)・観音院(上坂)・荘厳院(国作)・歓喜寺(国分)・妙善院(徳政)の六末院があったとあるので、このころまでは国分寺としての命脈と体裁を保ち続けていたのであろうか。
　しかし、天正年間(一五七三―九二)の出来事として縁起には
　　至天正之間、遭大友氏之乱、寺及大小院、一夕廃而成丘墟也
とあり、天正年間に大友宗麟(おおともそうりん)の兵火にかかり、すべての堂塔が焼失と伝える。
　その後、心海院の僧英賢(えいけん)が再建にかかり、円慶(えんけい)がこれを引き継ぐが、しかし没後は荒廃したという。再び、「国分寺縁起」を中心に明治時代までの再建の歩みをまとめると、次のような経過をたどっている。
　　寛永二十年(一六四三)　　小笠原忠真が参詣(けい)し、由緒を尋ねる。
　　慶安三年(一六五〇)　　尊応(下毛郡大貞村)が来て、村人とともに復興を始めるが、急病で没する。
　　明暦・寛文年間(一六五五―七三)　応忍が再建に力を尽くす。
　　延宝八年(一六八〇)以後　等汰の活動で、国分寺の復興は大体完了する。
　　貞享元年(一六八四)　　鐘楼門が建てられる。
　　貞享二年(一六八五)　　小笠原忠雄が寺領寄進。庫裏再建される。
　　元禄六年(一六九三)　　護摩殿が建てられる。
　　元禄七年(一六九四)　　貝原益軒の『豊前紀行』に「…その村に国分寺あり。真言宗なり。」と見え、真言宗に改められていたことが、初めて見える。
　　元禄十一年(一六九八)　沙空が後を継ぐ。
　　宝永七年(一七一〇)　　本堂建立
　　文化十三年(一八一六)　護摩殿の再建。
　　文政十一年(一八二八)　暴風により尼寺が倒壊する。
　　天保四年(一八三三)　　庫裏再建。
　　明治十九年(一八八六)　宮本孝梁師が三重塔の建立を発願。官許を得る。(翌年着工)
　　明治二十八年(一八九五)三重塔竣工式を行う。
　　明治二十九年(一八九六)三重塔落慶法要を行う。