県立図書館の前身とすべきものは、信濃教育会の「信濃図書館」である。信濃教育会会員のあいだから図書館設立の声があがったのは、明治二十三年（一八九〇）のことであった。この声は明治二十五年に有志による「図書縦覧所」として実った。当時は、図書も新聞も高価で個人の購読というより、学校や役所の購入が一般的で、新聞の縦覧所は明治末年までみられた。明治二十六年には図書室が信濃教育会のなかに設置されたが、信濃教育会は明治三十六年に県的図書館の設立を決議し、「信濃図書館設立趣意書」を発表した。

　信濃図書館の募金が開始されたが、日露戦争の勃発で設立事業は中断を余儀なくされた。しかし、信濃教育会は建物の購入や図書の収集の準備をつづけた。明治四十年にいたり、信濃教育会は六月十八日から長野市県町で閲覧事業を始めた。

　蔵書総数は三万五〇〇〇冊あり、閲覧料は一人一日二銭であった。図書の貸しだしも始め、明治四十一年には夜間開館も実施した。明治四十三年に松本地域で「巡回文庫」を開始し、明治四十四年には閲覧料を無料にした。

　大正時代にはデモクラシーの進展とも相まって、出版文化が急速に発達し、出版の種類も広範におよんできた。しかし、第一次世界大戦時の好景気が物価の上昇をよび、書籍代も高騰して、図書館の運営は困難になった。そこで、このような公益事業は県営でおこなうべきであるという意見が強くなり、県立図書館設置の運動がすすめられた。

　大正十三年（一九二四）十二月長野県議会は、皇太子殿下（のちの昭和天皇）ご成婚記念事業として、県立図書館の設立を可決した。建設事業は昭和三年（一九二八）三月、長野市長門町に三条栄三郎設計の総面積一五七七平方メートル（四七八坪）、鉄筋コンクリート三階建ての建物が着工された。館内には児童室や食堂もあった。総工費は二四万円であった。

　県立図書館は翌昭和四年八月に完工し、九月一日に開館した。初日の入館者は一万人であり、児童室をめざした児童の列は、道路を隔てた隣の信濃教育会の柵(さく)にまで達した。

　信濃教育会は信濃図書館の蔵書の一部を同会図書室に残し、その他はすべて（一万四六二四冊と新聞・雑誌九九六綴）を県立図書館に寄贈した。長野市の書店主西沢喜太郎は図書九〇〇〇冊を寄贈した。初代館長は田沢次郎、上席司書乙部泉三郎、司書叶沢清介であった。初年度の図書費は一万円であった。

　昭和八年に図書館令が改正され、県立図書館は中央図書館に指定された。昭和七年から二代目館長に就任した乙部泉三郎は、農村図書館の指導育成に力を注いだので、長野県青年団巡回文庫等の青年文化活動は、めざましい発展を遂げた。