律令国家の地方支配は、国司の監督の下、実質的には郡司がになっていた。先にも記述した「健児制」が導入された結果、地方軍制もまさに郡司に全面的に依存することになる。もっとも、この健児は国別に員数を定めて計三一五五人の健児が選抜・配置された。総数は三〇〇〇～四〇〇〇人にものぼるが、一国で計算すると三〇～二〇〇人が設置されたにすぎず、国府の守衛、儀式・神事の供奉、鋳銭司旧銭などの雑物の逓送などがその職務であった。したがって、地方において大規模な戦闘が発生した場合は健児だけでは対応できず別個の武力が動員されたようである。例えば、貞観八年（八六六）、広野川の河道改修をめぐって尾張国側などと対立した美濃国の各務・厚見両郡司は「兵衆、歩騎七百余人」を率いて作業に従事していた尾張国の郡司・役夫などを襲撃している。「兵衆、歩騎七百余人」という数値は健児の数をはるかにしのいでおり、健児のほかに農民などが兵士として動員されているようである。このことから軍事行動の主導権を依然として郡司が掌握していたこと、また有事に際して健児とは別に兵力が徴発されていたことがわかる。
　しかし、その一方において同じ貞観八年には郡司層に依拠した各地の健児や、豊後国直入・大野郡の騎猟民を用いた大宰府の統領・選士に「才器」のないことが問題となり、「試練を加え必ずその人を得」ることが命ぜられるようになる。このように、郡司に依存した国衙の武力が弱体化した理由として、対馬・石見国などにおいて郡司などによる国司襲撃事件の勃発（ぼっぱつ）したように国司と郡司の対立が生じたために、郡司が次第に地方支配の武力として信頼できなくなったこともあろうが、それ以上に中央の院宮王臣家と結んだ「富豪層」の台頭によって郡司の支配が弱体化し、伝統的な郡司層の権威が動揺し始めたからだと考えられている。
　「富豪層」は潤沢な動産を背景として、租税の代納や私出挙などによって農民を支配し、急速に台頭してきた存在であった。彼らの多くは土着国司であったり、浪人として地方に居住した官人・貴族層であったため、国司・郡司に劣らぬ権力を掌握していた。しかも、院宮王臣家の家人という政治的地位をも持っていたために、国司・郡司に対抗して多くの農民を支配することが可能であった。このようにして「富豪層」は逃亡した農民などを大量に組織するとともに、中央の院宮王臣家の権威を背景として国司・郡司に抵抗し、相互に結合して「党」とよばれる武装集団を形成して郡司などに圧力を加え、微税の実務を担っていた郡衙を解体に追い込んでいった。
　国衙は群党の蜂起によってその支配は大きく揺らぐが、九世紀後半までに「党」をはじめとする地方豪族の一部を国衙の武力として組織化して軍事体制を再建する。院宮王臣家人を動員する「諸家兵士」、あるいは富豪浪人を徴募した「諸国兵士」などとして、地方豪族を有事に際し国衙に動員する体制を築くとともに、彼らを押領使以下の軍事的役職に任じ、国衙の武力として組織化していったのである。本来、国府兵庫の守衛、儀式・神事の供奉などの職務は健児制が延暦一一年（七九二）に導入された後、健児が行っていたと考える。ところが、九世紀後半以降、国司館の宿直、神事の供奉までもが「国侍・館侍」などの国司の私的従者によってなされるようになると、健児の役割は次第に縮小していくことになる。そして同時に国衙の下に組織された地方豪族は代々軍事的職務を勤仕していき、後世の「武士」へとつながっていくのである。
　このように、国衙が後世の「武士」へとつながる「兵の家」を育成していくという構造は西国においても見られる。天慶四年（九四一）五月に藤原純友が大宰府を襲撃した際に追捕使が任命されるが、その補任権は依然として国衙（中央）が掌握していることがわかる。また、任命された追捕使は中央より派遣された軍事貴族であり、西国にその本拠地を持つ地方豪族の名は見当たらないことから、西国（大宰府）においては一〇世紀後半になっても特定の「兵の家」が成立していない状況であったことも示唆している。藤原純友の乱後、追捕使であった大蔵氏が西国（大宰府）に土着し、寛仁三年（一〇一九）の「刀伊の入冦」の際には大宰権帥藤原隆家の下で奮戦する。このとき勇敢に戦ったのは大蔵氏の他に文屋忠光・多治久明・財部弘延等の西国（大宰府）にその本拠地を持つ地方豪族たちであり、大宰府は地方豪族たちを刀伊賊討伐軍として動員しているのである。以上、西国（大宰府）においても天慶四年の藤原純友の乱・寛仁三年の刀伊の入冦を大きな契機として地方豪族たちを「国衙軍制」に組み込んでいく経過を窺うことができる。