1872（明治5）年8月、新政府により「村に不学の戸なく、家に不学の人なからしめん」を趣旨に学制が制定され、近代学校教育制度が発足した。制度では特に、小学校の設置に力が注がれていたが、戊辰(ぼしん)戦争の後で村々の経済は疲弊(ひへい)しており、直ちに学校を作る事はできなかった。

　郡山では翌1873（明治6）年に安積三組の年貢蔵が置かれていた蔵場（現在の金透小学校）に盛隆舎(せいりゅうしゃ)という学校が建てられた。だが、この学校は学制令による造営ではなく安積郡全村の学校（郷学校）の性格を持っていた。生徒は近村の名主・神主・医師等の子弟が多く、教師は鈴木信教(しんきょう)（如法寺住職）・安藤脩重(もろしげ)（安積国造神社神主）・堀退蔵（二本松儒者）等で、高い水準の授業を行っていたようである。

　1874（明治7）年、福島県学則により郡山でも上等・下等2科の公立学校が開設されることとなり、それに盛隆舎が充てられた。この時の就学児童数は、男が184名に対して女は24名しかいなかった。その後、児童増加と中学校を設ける必要から学校の新築が行われ、1876（明治9）年には堂々たる新校が完成し郡山小学校と命名された。しかし、中学校は設置されず、1880（明治13）年に県立農学校が郡山小学校の一部に開設された。この年は明治天皇の東北御巡幸があり、校舎はそれに間に合うように建てられ、陛下の御休息所に充てられた。その時、陛下に随行した木戸孝允(たかよし)が「金透学黌(きんとうがっこう)」の額を書き残した。この額は、休息所となった玄関と共に現在も保存されている。

　1883（明治16）年に郡山小学校の校長であった御代田豊(みよたゆたか)の記録によれば、同学区の学齢児童数850名に対し就学者数は463名（男子309名・女子139名・学齢前児35名）、児護（子守児童）が187名、不就学者が235名で、当時の学齢児童の就学率は約36％であった。

　安積郡内の村々では、1873（明治6）年から1875（明治8）年にかけて学校を開設してはいるが、ほとんど寺子屋時代の寺院を借りて校舎を運営している。1880（明治13）年の統計によると、安積郡の34ヵ村のうち、村立小学校を設置しているのが12ヵ村、借屋にて開校している村が3ヵ村、旧寺子屋を校舎としている村が19ヵ村であった。郡内の合計学齢児童総数は4,842名で、このうち男が2,397名・女が2,445名であったが、就学児童数は男1,591名（約66％）・女が424名（約17％）、男女合わせ2,015名（約42％）で、男女ともに就学率が低く特に女性の割合が極端に低かった。

　1879（明治12）年、新たな教育令が公布、公立の小学校設置主体は町村またはその連合体とされ、学齢児童の就学義務の厳格化が図られた。次いで1886（明治19）年、再び学校令が公布され、以前の小学校を尋常科（4年制）・高等科（2年制）の2段階に分け、尋常科を義務教育制にした。1888（明治21）年の町村制により郡山町となり、1892（明治25）年に郡山小学校は郡山尋常高等小学校と改称された。

　郡山の町昇格は人口の増加をもたらし、学齢児の就学率も上がった。そのため、従来の小学校のみでは生徒の収容が困難となり、1900（明治33）年に鐘堂(しょうどう)に郡山第二尋常高等小学校（現在の芳山小学校）が開校、これまでの郡山尋常高等小学校は郡山第一尋常高等小学校となった。郡山第二尋常高等小学校は、はじめ女子だけを収容したので「女の学校」と呼ばれた。学級数は20、生徒数は1,100名であった。

　明治時代の初期は文明開化の風潮が総てを支配しており、教科書も外国の模倣(もほう)で何を使用しても自由であった。しかし、そうした傾向に対して批判が出され遂には国風重視の儒教主義が主張され国民思想の転換期を迎えた。1889（明治22）年には大日本帝国憲法が発布され、翌1890（明治23）年には教育勅語が公布された。この教育勅語は第二次大戦後の教育改革まで日本の教育理念の指針とされた。文部省は全国の学校に教育勅語を配布し、学校の儀式等で奉読させたほか、修身科を始め諸教科でも勅語の精神を基本とした。1907（明治40）年には再び学校令が改正され、尋常科（6年制）・高等科（2年制）となり、尋常科が義務教育とされた。