明治初年に図書館として開設され、明治37年(1904)、慶応義塾図書館と改称しそれと同時に図書館としての体裁も整え、更に明治45年には新築(純ゴシック式煉瓦(れんが)造地階共3階建、延坪200余坪、収容人員300人)され、大正12年(1923)に大震災の修理を兼ね書庫を増築250余坪に拡張した。
この図書館は、当時珍しく試験期を除き他の期間、一般市民に公開をした。一般入館者は閲覧料(当時5銭)を納め利用したといわれている。閲覧時間は平日午前8時から午後9時まで、日曜及び学生の休暇中、夏休中は午前8時から午後4時まで、休館日は年末年始、祝祭日となっている。蔵書もあらゆる分野の和洋学術書をそなえていた。