明治三十五年（一九〇二）一月十日、若槻村に軍籍のある同志を募って若槻奨兵義会が結成された。小田切村には日露戦争に参加した帰郷軍人を中心にした玄界灘会が組織され、戦争の思い出を語ったり親睦を深めたりした。また、同村には同年兵会も村内に二、三あった。朝陽村にも三十九年七月十五日に会員九六人の朝陽村軍人同志会ができている。

　これらは親睦会的な要素の強い軍人の集まりであった。このころ、村の風紀・品位を維持する必要から、在郷軍人に徳性の涵養(かんよう)、軍人思想の保持・開発、さらには軍国の良民となるべきことが強くもとめられていた。戦場から帰郷した軍人のなかには、国家に多大な勲功を立てたとして粗放・驕慢(きょうまん)におちいり、平時の労役をいとい、本来の業務をなおざりにするものもいて、社会問題化していたのである。

　こうしたなか、更級郡では郡長川上親賢が町村長とはかって、在郷軍人団の設立を志向していた。同郡では在郷軍人から創設委員を選出させて、第一回の創設委員会を明治三十九年八月二十三日にもち、十月十六日には趣意書と団則を作成、十一月十七日に稲荷山(いなりやま)小学校（更埴市）を会場に更級郡軍人団を発足させた。町村段階でも塩崎村が十一月二十三日に塩崎小学校校庭を会場に塩崎在郷軍人団の発会式をおこなっている。団長は陸軍歩兵大尉・長野連隊区副官北村健信、副団長が村長清水吉郎次と山岸富弥であった。同じ日、松代町在郷軍人団が設立され、名誉団長に町長矢沢頼道、理事に小林誠太郎（後備砲兵曹長）・荻原傳之丞（歩兵軍曹）・清水甚太（歩兵軍曹）が就任している。

　いっぽう、長野県知事大山綱昌は明治三十九年十月三十日付けの県訓令第五十五号で軍人共励会の設立を布達した。その主旨は、凱旋(がいせん)帰郷の軍人がひきおこしている諸問題にたいして個々に指導することはむずかしいので、県下同一の基準によって郷党にある軍人を集めて団体を組織し、共同の節制と激励によって自治的に自己および団体の栄誉を保護する手段としたい、というねらいとともに、順次下付される賞賜金の浪費をふせぎ、保護・増殖をはかることにあった。

　県が示した準則は、およそつぎのようなものであった。

　このほか会長、副会長、評議員の選出は総会において会員中より選挙するとしている。

　これによって、県下各地に県準則をもとにした軍人共励会が生まれていった。朝陽村では三十九年十一月十七日にそれまでの軍人同志会を軍人共励会と改称、古牧村でも村長倉石泰治・助役寺島荘治郎をはじめ、兵事主任が中心となって、兵役義務をはたした村人を集めて同年十二月十六日に古牧村軍人共励会を発足させた。このほか若槻奨兵義会も十二月十七日に若槻共励会となり、芋井村にも共励会が設立されている。

　しかし、共励会設立の動きに長野連隊区在郷将校会などは、既設軍人団の共励会への改称は必要ないとして強く反対した。とくに塩崎村出身で松本連隊区司令部副官の北村建信（塩崎在郷軍人団初代団長）は四十年十一月に軍人共励会設立訓令に反対する直言書を認めて県下在郷軍人に配布した。すでに師団長が軍人団設立を督励しており、共励会規約にある事項はすべてそこに網羅されているし、軍人は元帥、大将につながり、知事には軍人に指令する権能はないはずだ、というのがその主な趣旨であった。

　こうした経緯のなかで共励会と軍人団は併存することになったが、塩崎在郷軍人団の明治四十年の活動をみると、一月一日小学校内で四方拝・遥拝(ようはい)式挙行、十一月三日天長節(てんちょうせつ)拝賀式参列、長野連隊区司令官橘中佐より訓令、十一月二十四日新兵壮行会開催、同月三十一日長野連隊区司令官橘中佐より訓令、とあり、まだそれほど活動が本格化していたわけではなく、壮丁(そうてい)予習教育の実施も翌四十一年からであった。

　明治四十三年十一月三日、帝国在郷軍人会本部の結成式がおこなわれた。塩崎在郷軍人団の記録には、「十月十五日帝国在郷軍人会規約ヲ受領ス。十一月三日帝国在郷軍人会本部ニ発会式ヲ挙ゲラル。」とある。本部の発会によって、それまで全国まちまちであった在郷軍人会が皇族を総裁にして軍部の統制下、同一基準のもとに統合されることになった。ねらいは平時における兵員の蓄積・訓練であり、観閲点呼を主体とした軍事訓練、軍人精神の高揚、軍事知識の普及、さらに軍人援護などが活動の中心とされた。塩崎在郷軍人団は、四十四年一月十一日に発会式を挙行して帝国在郷軍人会塩崎村分会となり、この日に規約も決定した。松代町在郷軍人団は、『松代町史』によると、四十三年十月二十四日に松代町分会と改称したとある。本部発会前であるが、塩崎村で十月十五日に規約を受領していることから、松代町では規約受領後、直ちに発足させたものとみられる。会長には三等薬剤官の市川英一郎が就任している。各地にあった軍人共励会も名称を変えて、順次帝国在郷軍人会に組みいれられていった。若槻村軍人共励会の名称変更および帝国在郷軍人会分会の設立は、四十四年一月十五日であった。

　大正期に入ると、第一次世界大戦や米騒動、シベリア出兵などをへるなかで、帝国在郷軍人会分会の活動はしだいに活発化していった。上水内郡では、大正四年（一九一五）四月十五日午前一一時から城山小学校運動場を会場に帝国在郷軍人会上水内郡連合分会の発会式をおこなった。式は、各町村分会が分会旗を先頭に整列し、最敬礼、楽隊の「君が代」吹奏とつづき、高橋熊太郎連合分会長による明治天皇の軍人勅諭・今上陛下の勅語・伏見宮総裁の在郷軍人への令旨の奉読および式辞、宣言書の朗読があり、支部長の高田連隊区司令官松山良朔からは軍事能力の増進、軍人精神の鍛錬として良民良兵の実をあげよとの訓辞、このほか力石知事（代理佐藤県視学）・早川郡長などの祝辞があって終了した。

　更級郡では大正五年二月一日に郡連合分会が設立され、八月十九日には各分会長と在郷将校からなる評議員会を郡役所内に開き、基本金造成のため寄付金募集に着手することのほか、各町村分会は収支予算・決算を作成して本会に提出すること、秋季大講演会と競技会を開催すること、現役兵送迎会等の費用を節約して満期帰郷兵に各分会で軍服を寄贈すること、壮丁準備教育は各町村とも二ヵ年連続で町村長・小学校長と協議し、補習学校の事業に付設して実施できるようつとめること、現役兵入営者にたいする予習教育は規約第七条の区分により実施を励行すること、本年度観閲点呼に関しては十分指導につとめ、とくに司令官より配布の注意書の各項に関して励行すること、なお、この日の午後、都合により執行官に依頼して欧州戦況に関する講話会を開催することもありえること、などを決めている。

　埴科郡連合分会は大正七年にできたようで、第三回総会を九年四月四日に坂城小学校で開いた。内容は石丸司令官の閲兵、鈴木分会長の勅語の奉読・式辞、平林少尉指揮による分列式、留守歩兵五十連隊北原中尉の講演などで、つづいておこなわれた競技会は銃術・軍刀術・砲丸投げ・棒押しの四種目があり、軍刀術で東条村の青木雅伸が一位、砲丸投げで松代町の大瀬正雄が二位となっている。

　帝国在郷軍人会長野市分会は、大正五年十月十七日に八幡原への野外演習を実施した。午前八時半に集合場所の国道上鉄道踏切を出発した一行は、丹波島橋を渡ったところで分会長平野大佐から川中島合戦に関する位置と戦争の説明をうけた。八幡原では小野会員から川中島合戦談にあわせて往時と現今との作戦の異なる点を聞き、宮下少尉からは改正体操術の講話と実技、さらに教練の指導をうけている。翌六年五月二十七日の海軍記念日は城山蔵春閣でおこない、余興として銃剣術・落語・義太夫があり、祝典では勅語奉読ほか、分会長平野大佐の潜水艇に関する講話があった。十五年には在郷軍人の家族調査を実施し、一家族で父子あるいは兄弟で四、五人が犠牲になっているものが四家族（妻科二、栗田・上松各一）あることがわかり、松本連隊司令部経由で第十四師団長へ表彰内申をおこなっている。

　以後、帝国在郷軍人会分会は、軍国化がすすむ国家体制のなかでいっそう軍部や市町村を支える重要な団体として活動するようになっていった。