寛正3年(1462)に胤業が築いた場所は、新町堀の内(または柵の内)とされているが、その場所は明確ではない。そのため、以前から地名をもとに考察が進められている。
　旧城下町付近の地名を見ると「堀の内」は見られないが、「柵の内」の方は小字の名前に見ることができる。その場所は現城跡の北方で、壬生氏の菩提寺であり初代胤業の法名が寺号になっている常楽寺の西側一帯になることから、胤業の築いた壬生城は“常楽寺の西方にあった”と紹介している本は多く、通説となっている。
　しかし、「字柵の内」について調べてみると、例えば「地籍図」によると「字柵の内」の中央部は「字正念寺」と記されており、再考の余地がありそうである。そこで別の所に目を向けてみると1ヵ所候補地に挙げられる所がある。江戸時代の城下町絵図に見られる「堀内屋敷」の所である。
　この場所は新町の一部ではあるが「昌平山」という小字であり、地名からは城跡とする証拠は得られないが、『複製図』や水口の加藤家に伝えられていた絵図を見ると、常楽寺の北方に藍色の帯で四角に囲まれた所に「堀内屋敷」と記されているのがご覧になれるだろう｡
　また明治2年、ここに壬生藩の上級武士の屋敷が設けられた時の略図があるが、「ツツミ」と「ホリ」に囲まれた土地であったことが描かれている。さらに明治9年に成立した地籍図や明治19年の迅速測図(P.13の図－1中［A］の所)等によると、約100m=約1町四方の区画が浮び上がってくる。その形から見ると、城というよりは館と言えるが、胤業頃の壬生氏クラスの勢力の館としては妥当な規模であろう。
　以上のようなことから、胤業の壬生城(館)の所在地は、通説の所ではなく常楽寺の北方と考えられる。