幕末の安政四年(一八五七)に、大谷村の一部に新たに新組と称するものが生まれた。「大谷村地誌編輯材料取調書」には、この間の事情を次のように述べている(『高根沢町史資料集』)。
　天保年間以来、大谷村でも次第に手余り荒地が増大していった。そこで、安政四年、宇都宮藩では大谷村を家老の戸田小膳の采地にして、復興に乗り出すことになった。小膳は、新規百姓十二戸を取り立て、五か年間は無税、その後も旧来の年貢の半減を条件に、荒地の起こし返しを命じた。その結果、二年間で復興をなし遂げることができた、という。この十二戸が、回谷毅八郎を陣屋出張役兼庄屋代兼として、大谷村新組を結成したのであった。
　慶応二年(一八六六)、新組では年貢の一時保管や備荒貯蓄の備えのために新たに郷蔵を建てることになり、資金の援助を藩に願い出た。新郷蔵は、喜連川領の伏久村から文久三年(一八六二)製の中古長屋を購入して郷蔵に改築することにした。但し、この新郷蔵は、専用の郷蔵とは異なり役所兼用の建物であった。長屋の半分の二間分が郷蔵に、残りの三間分が回谷所持分として役所として使う共同利用であった(大谷　回谷公毅家文書)。郷蔵とはいえ、むしろ役所付属の倉庫に近い使われ方をしたものではなかろうか。