戸部城跡は戸部本町にあり、村上支族戸部氏の居城跡と伝えている。更級斗女神社の境内から五〇メートルほど西方に本町組公会堂があり、その隣に御倉(みくら)稲荷社と、郷倉(ごうくら)とよばれている古い土蔵がある。この付近一帯が戸部城跡と伝えられている。城跡は東西五四メートル・南北三七メートルあって、本町はその城館集落という。土塁、堀跡、大手への道とみられるものは、想定されるが確認できない。

　この城館跡の北、二五〇メートルほど離れたところに常泉寺がある。この寺の東がわ、戸部堰に臨んで土塁の跡がみられ、富部家俊の城館跡と伝えられている。土塁上には富部家俊の墓と伝える古い五輪塔が建っている。

　家俊は布施の地頭、布施三郎惟俊(これとし)の子で、戸部に分知して富部を姓にした。本家布施氏が筑摩郡麻績(おみ)御厨を領していた平家弘、正弘と主従関係を結んでいたので、家俊も源平争乱時には平家方に加わった。

　治承(じしょう)五年（一一八一）六月十四日の横田河原の戦いで、家俊は平家の総大将城資職(すけもと)軍に属し、木曾義仲配下の西七郎と渡りあい、壮烈な討ち死にを遂げた（『源平盛衰記(じょうすいき)』）。