壬生氏の時代は、“Ⅱ-1城主の変遷・2城の移り変わり”でも触れているように、史料が限られていてよくわからないのが実状である。当時の壬生城が、壬生氏の本拠ではないが主城の一つとして領地の南部を押さえる拠点であり、初代胤業の法名を寺号とする常楽寺を始め、興生寺・雄琴神社といった寺社の存在を考えると、城の周囲に集落があったことは確かであろう。それがどの程度城と関わりを持っていたかを確認する手段は現在のところないが、戦国時代末期には日本の各地で城下町が生まれており、壬生氏の時代も城下町の存在は否定できない。
例えば地名で見ると、江戸時代の城下町の北口外側辺りを「字大宿」という。これを「台宿」と記す史料も見られるが、中世的な町屋の存在を想起させる地名である。
また一方で、壬生城の曲輪の一つに「下台郭」があり、江戸時代初期の史料に「下台惣曲輪」と記した史料がある。惣曲輪とは、戦国時代末期から発達した城下町をも塁濠で囲い込んだ曲輪のことをいう。これについては次項で触れるが、壬生氏の時代には、既に城下町の原形のようなものが存在していた、とも見られる。
大宿(台宿)と惣曲輪、城を挟んで北と南に分かれて存在する相互の、あるいは城との、そして時代的な関係など、解明しなければならない点は多いが、壬生氏の時代、特に末期の頃には城下町の存在した可能性が大きいと考えられる。