円喜のときはそれほどでもなかったが、その子があいついで代官をつとめ、ことに庄右衛門は多額の富をためこんだあげく延宝六年財産を取りあげられ追放された。その財産目録（『県史』⑦四〇〇）によると、かれは役人のかたわら、油商・金貸を営み、また農地を多く所有し自作していた。七瀬村では村高の約四分の一にあたるおよそ一〇〇石の地をもっており、家財のなかに農耕具が多くふくまれていて、農業も営んでいたことがわかる。近世には士農工商の身分がはっきりしていたのに、高橋氏は役人（士）であると同時に農・商も兼ねていたことがわかる。その翌年追放された兄随閑も、その財産（『市誌』⑬七九）の半ばは酒造に関するもので、大小酒桶(おけ)三五本、半切(はんぎり)桶四三本など多数あり随閑が酒造業を営んでいたことが明らかである。高橋一族はいわば中世的な役人で、役人でありながら農・工・商さまざまな職業を兼ねていた。そのような中世的な性格は父高橋円喜のころからの伝統であった。その没落は当然であろう。