大室(おおむろ)城ともいう。大室の集落に接した山の上にある。平地との比高は七〇メートルほどにすぎないが、北と西は断崖になっていて険しい。山全体が岩山であるが、この城には平石小口積みの石垣が四方に築かれ、とくに西方には数段の高い石垣がある。これほど石垣が多いのは戦国時代の山城としてはめずらしい。材料の石が豊富だったためであろう。霞城は大室氏の城と伝えられ、北のふもとに中屋敷・堀内などの地名があり、竜ノ口・外曲輪(くるわ)・木戸などの名も残っている。西の登り口に大きな立石があり、大手の跡だと伝えている。

　大室氏は、元亀(げんき)三年（一五七二）の武田信玄朱印状に「大室の文右衛門」として名をみせるが、のちに信玄によって追放された。しかし、武田氏滅亡後の天正十年（一五八二）、川中島へ入った森長可(ながよし)から旧領を安堵(あんど)されている。本能寺の変後は、上杉景勝にしたがい、文禄(ぶんろく)三年（一五九四）に、大室兵部は五百石余で海津留守居(かいずるすい)役を勤め、景勝の会津移封のさいは一〇五〇石の知行をあたえられた。

　また、大室氏の一族からは天文年間（一五三二～五五）に、内山（佐久市）正安寺の住職となった宗察が出ている。宗察は禅福寺のほか春山（綿内）の如法寺、氷鉋(ひがの)の明桂寺を開いた。