この時期、図書館設置に向けての動きが大きくなる。当時は、一般市民が気軽に利用できる図書館がほとんどなかった。明治三二年（一八九九）には勅令四二九号「図書館令」が公布され、図書館の開設が増加していく。東京市でもこれを受けて通俗図書館の設置を明治三七年に議決し、明治四一年に東京市立日比谷図書館が開館した。市は同時に小学校内に簡易図書館を設置する方針を打ち出す。市立小学校舎の一部を利用した閲覧料無料の簡易図書館である。港区域内でも以下のように、この時期に開設が成されている。
　芝区では明治四四年に御田（みた）高等小学校内に市立芝簡易図書館が、麻布区では同年南山尋常小学校内に市立麻布簡易図書館が、そして赤坂区では明治四五年に氷川尋常小学校内に市立赤坂簡易図書館が設置された。
　大正二年（一九一三）には、簡易図書館の「簡易」という語が、市民から幼稚または低級の意味に取られるのを避けるために、名称から「簡易」の文字を省いて、一部の図書館には地名を用いるなどの名称変更が行われた。そのため、それぞれ市立三田図書館、市立麻布図書館、市立氷川図書館と改称されている。各図書館の蔵書冊数は、大正三年時点では、市立三田図書館が二三三七冊、市立麻布図書館が二〇九五冊、市立氷川図書館が一八七五冊であったが、約一〇年後の大正一四年時点では、市立三田図書館が七八三九冊、市立麻布図書館が八四三三冊、市立氷川図書館が九四五四冊に増加している。（東京市会事務局編　一九三五および東京市編　一九二六）