軍部は、日清・日露両戦後の経験から、常に戦事動員に支障ない体制を確立するため、在郷軍人による軍人同盟団の組織を計画し、連隊区司令官と郡長のきもいりで、明治三十九年、各市町村に在郷軍人同盟団が結成された。たとえば桜井村では三十九年十二月に「桜井村在郷軍人同盟団」が結成され規約が設けられている。この規約によると、団員は桜井村の在籍者ならびに長期間にわたる入寄留者の、陸軍・海軍予備兵、後備兵、帰休兵、補充兵の在郷軍人によって組織され、聯隊区司令官ならびに郡長の監督をうけることになっている。また団員の任務は、尚武志操の誘導、軍人的秩序の遵守、質素勤勉の励行などを主眼とし、地方良民の亀鑑となることを掲げていた。
この在郷軍人同盟団は、四十三年十一月「帝国在郷軍人会」という全国的な組織に統合され、軍部の厳重な統制下におかれた。その組織は、各師団管区内には連合支部が置かれ、連隊区内には支部、各郡には連合分会、市町村や職場内には分会が設置された。さらに分会の末端組織として大字単位に班が設けられ、現役軍務に服していない予備兵・後備兵・国民兵によって構成された。
在郷軍人会は政治に対しては不干渉をたてまえとし、「厳正中立」「良民良兵」「護郷」を信条とし、軍隊意識を国民の末端にまで浸透させるのを目的としたが、この在郷軍人組織を国民統制の中心的な役割にすえることをねらったものである。軍人会の行事は、簡閲点呼や模擬動員を行なって戦事動員に備えるとともに、貯蓄の奨励、遺族の救護、軍人精神の高揚など国民統制の側面をにない、さらに青年団や青年訓練所に対して指導的な役割をはたした。