山村氏は木曽福島の大手橋を渡った木曽氏館跡を拝領し居館を構えた。現在の福島小学校の場所である。木曽代官所と同時に山村家の知行支配の役所でもあった。大手の坂を登った西側に御亭主門があり、門を入って真直ぐに進んで左の門を入ると、玄関・槍の間・大広間・異風の間の一棟の建物があり、次いで弓の間・広間・上段・次の間の一棟が続き、それに続いて書院の一棟があり、いずれもこけら葺きであった。これらに付属した建物及び役所があり、東端に表居間から奥屋三階の樓屋があって相当の規模を有するものであった。木曽考続貂によると屋敷地は四四三二坪となっているが、その後下屋敷・中屋敷が出来たから坪数は増加していると記している。
　代官所の建物は正保二年四月一七日に焼失、享保八年二月四日にも焼失した。その後復旧の建物は、明治維新の際取り壊され、東門跡の石垣と下屋敷の城陽亭の一部のみが残る。