このように、ようやく開館にこぎつけた書籍館ではあるが、明治22年11月の区会では早くも書籍館廃止説が提案された。その時の様子を「通常函館区会議事録」により見てみると、翌23年度の区費収支予算を審議するに当たり教育費の中の書籍館費118円が問題となった。まず、工藤弥兵衛が書籍館を廃止して単に書籍庫にする方が良いという意見を出した。その理由は、書籍館の縦覧人の様子を観察していると「重ニ学校生徒輩」で、閲覧する書籍は「三国史トカ八犬伝トカツマラヌ稗史小説ノミニ止リ、絶テ有益ナル書ヲ閲ルモノナシ」という状態なので、区費多端の折から書籍館には118円も投じる価値がないというのである。また今後は縦覧を廃止し、12円の修繕費を30円に増額した上で管理を区役所か町会所へ委託するべきだという考えを述べた。
　これに対し小川幸兵衛は、80余円を節約するために長年苦心して書籍を蒐集してきたのに開館後まもない書籍館を閉鎖するのは当を得た議論ではないとして、「此際猶一層本館ノ拡張センコトヲ当局者ニ乞ヒ、益々其利ヲ世間ニ得セシムル様」にしたいと廃止については反対意見を述べた。また、蛯子興太郎が思齊会創立から書籍館に至る迄の経過を説明し、書籍館の設置はすぐにその効果があらわれるような性質のものではなく、「同館ヲ創立スルニ付テハ多ク寄付金モアリ、又、今度道庁ヨリ寄贈サレシ写真書籍等モアリ、将来大ニ望ミヲ嘱シタル」施設として既存の函館教育協会の協力を得て、その隆盛をはかりたい意向を示した。この意見に賛成する議員もいて最後に林宇三郎が、「書籍館ハ追々文学ノ開進ニ連レ其ノ必要ヲ感スルモノニシテ、自今ハ無クテ叶ハサルモノナリ」と述べて書籍館の必要性を説き慎重な審議を望んで一同の同意を得、この問題は保留のまま閉会した。
　次いで12月の区会において再びこの書籍館問題がとりあげられ、冒頭で林宇三郎が前回の発言を翻し、書籍館を函館区の共有財産へ編入し経費の節減をはかるため、一切の事務は町会所の書記に無料で兼務させ、書籍館の備品、雑費、修繕費はまとめて60円で支弁することを提案した。そこで金子利吉は、「僅カ百円内外ノ経費ノ為メニ書籍館を閉ツルハ、甚タ遺憾トスルコトニシテ、此館ヲ創立スル迄ノ苦辛容易ナラサルモノナリ、願クハ此儀据置カンコトヲ望ム」と反論したが、林は「同館ノ盛衰モ詮考セス経費ノ節約モ思ハス」とその意見を評価した。
　また、小川幸兵衛は書籍館の一層の充実をはかるため函館教育協会へ管理を委託する説を支持し、さらに、蛯子興太郎も「書籍館ノ目的トスル所ハ唯是縦覧人ノ増多ノミニハアラス、最モ企図スル所ハ新古万巻ノ書籍ヲ所蔵シ、之レカ書目ヲ製シ普ク本館ノ蔵書ヲ世間ニシラシムルニアリ、而シテ是等ノ効能ハ現然限ノ辺ニ見ルヘキモノニアラス、永遠ノ間ニ土民ノ文物ヲ薫養スルモノナレハ、今日本館二百余円ヲ注クモ、此書籍館ノ為メニ亨クル処ノ利益ハ其幾許ナルヤヲ計ラレス」と主張して再び書籍館存続を訴えた。
　しかし、林は「書籍館ノ必要ヲ感セサルハ未タ文運ノ至ラサルモノナレハ、如何ニ之レヲ盛大ニ開館シ置クモ其功績ヲ表ハスヤ難シ、依テ時運ノ到ルマテ六十円ノ該費ニテ維持シ置クコソ宜シカラン」として採決に持ち込み、結局、可否同数になったため議長が廃止案に同意して、遂に書籍館廃止が決定してしまったのである。