壬生城と城下町は、黒川と思川に挟まれた台地のうえに建設されている。下稲葉台地と呼ばれ、鹿沼市北赤塚から壬生市街地付近まで延びているこの台地は、鹿沼市の市街地西方を扇頂とする、黒川が形作った扇状地の一部である。城下町が造られた辺りはその末端部、扇端に位置している。そのため、この台地の傾斜は、北西から南東方向に向って低くなる傾向にある。
また地質的に見ると、下稲葉台地の南端部には、壬生台地と呼ばれるもう一つの台地が発達している。こちらの台地は、精忠神社の北側を先端として南東方向に扇形に広がっており、下稲葉台地と同様に南東方向に低くなっている。壬生城は、この壬生台地を利用して築かれており、初期の城下町もこの台地上に建設されていた。