明治末から大正期にかけて産業が発展するとともに、さらに港区域の人口は増加した。芝区では明治41年（1908）には72工場、職工約5千人となり、芝区における人口増加は旧3区の中で特に著しかった。大正期になるとその傾向はますます進み、大正8年（1919）には工場数が427、従業員数も2万1645人と大幅に増加した。人口ピーク時の大正11年には、港区域（旧3区合計）で、過去最多の37万6千人まで増加した。
こうした人口動態に沿うように、大正年間には芝区を中心に小学校が5校新設された。その結果、芝区の公立小学校数は大正10年時点において16校と、下谷区と並んで東京市15区内で最多となった。しかし、児童数は約3万3千人にまで膨れ上がり、学校増設にもかかわらず、2部授業は解消されず教室不足に悩まされ続けた。
ところが、大正12年の関東大震災によって、芝区域を中心に多大な被害を受けて人口は大幅に減少した。そのため、昭和戦前期は学校数が増えず、むしろ統廃合や閉校により校数は減少した。具体的には、昭和7年（1932）に麻布新堀小は閉校となり、昭和9年麻中小が麻布小に吸収されて麻布麻中小が生まれた（翌年麻布小と改称）。また、台町小・高輪小の統廃合で昭和10年に高輪台小が新設された。
昭和期に入り学校数が減少する一方で、戦時中の昭和17年には、芝浦埋立地の人口増を反映して芝浦国民学校が新設された。港区域内で人口および児童数の増減に地域差があったことがわかる。
港区域は、震災に続き、空襲によって再び壊滅的な被害を受けた。戦災を通じて、港区域の人口は昭和19年2月の29万2千人から、終戦後の昭和20年11月には9万7千人に減少した。人口減少に伴って、戦後新学制の開始までに、飯倉（いいぐら）、東町、三河台の3校の小学校が閉校となった。
しかし、一時的に急減した人口は、その後疎開や外地からの引き揚げやベビーブームなどにより増加へ転じた。ベビーブームで生まれた子どもたちが学齢期を迎えた昭和30年に児童数はピークを迎え（小学生2万7506人）、校舎・教室不足が続いた。そのため、すし詰め学級や2部授業、特別教室の普通教室への転用などでの対応を余儀なくされた。
教室不足の動向も受けて、戦後に閉校となった飯倉小が昭和28年に、東町小が昭和30年に復活することとなった。また、中学校では昭和35年に三河台中が城南中から分離するなど、学校数の増加につながった。