矢組の館は城内と呼ばれるところである。那珂川の右岸段丘上の崖端に位置している。平地にある郭であるが、東部は那珂川の第一段丘で、かつては河川敷であったことがあるが周囲は水田となっている。館の東側は段丘崖で、北側は短く深い沢で水堀の役割をなしている自然の要害地である。現在この沢のところは杉が植林され放牛地になっている。西側中央の虎口を境とし北側はます型である。館主の居館地とみられる。直線的なL型の土塁と急崖とにかこまれている。土塁の一部を残し殆んどが消滅している。土塁の幅約六メートル、高さ一・六メートルほどである。西北隅には低く小さな土塁、堀に限られ守護神がまつられていたという。なお西側の土塁中央近くの水田地に「井戸前」という呼称が残っているところからみると居館地の中に井戸があったとみられている。南側の館は東側は急崖であるが、西側と南側は折れひずみ型の土塁で当地方には珍しく貴重である。これは現存している。南中央部に虎口が一か所ある。ここは家中の家敷があったと伝えられている。構築法をみると土塁は外側の黒土を盛り上げその上に砂利が盛りあげてある。「矢組」に最もふさわしい構造であろう。外周りは水堀の跡とみられる水田が一段低く今もめぐらされている。那須氏傘下の土豪矢組五郎の築城と伝えられ、築城は鎌倉時代と言うが室町中期との説もある。居城者も矢組五郎と伝う。