現在の赤柴の公民館の敷地には、江戸時代中ごろ、地蔵堂(本堂)と閣魔(えんま)堂が祭られていた。この公民館のある屋敷を古くから「閭(りょう)」とよんでおり、この呼びならわしは、住民にとっては「公民館」という呼び名よりも親しみを感じているという。閭とは「里中の入り口の門」のことを意味している。赤柴は地蔵峠のふもとにあり、峠に向かう登り口で休憩の地でもあった。旅の安全は人びとの願いであり、その願いは地蔵信仰として徐々に広まり、その信仰の偶像として地蔵尊が峠・境・辻に祭られることが多くなった。この赤柴の地に地蔵堂や閻魔堂が置かれたのも、この地蔵信仰にあやかったものであろう。
この両堂は、明治の初期まで僧侶がそこに住み、維持管理がなされていた。本堂には仏像(本尊)が安置されていた。最後の管理者は晩成(ばんじょう)和尚(晩重とも書く)で、文久(ぶんきゅう)年間(一八六一~六四)から明治六年(一八七三)小学校が松代学校関屋支校として開校するまで、赤柴集落のこどもらに読み書き、算盤(そろばん)を教えていた。明治十二年、門弟らにより閭の庭に「同学晩成和尚寿塔」が建立された。明治中ごろ、僧侶がいなくなり、甲・乙組から世話人を選出して運営にあたった。大正時代には貸家となり、この家賃収入で本堂は管理された。昭和二年(一九二七)に、青年会が「閭」を管理することになった。このころ閻魔堂は新しく建て直され、赤柴倶楽部と改称された。同倶楽部は、毎年八十八夜におこなわれる素人芝居や映画会の会場となった。同二十四年、社会教育法の制定により赤柴分館となり、同二十九年「閭」の建物を取りこわし、公民館と稚蚕共同飼育所を新設し、同四十六年まで春夏秋蚕の飼育所として利用された。