藩主のはなやかな寺社奉行就任の喜びと御用金調達強化のかげに、野草を刈って小作料の一部に当てるなどの努力もむなしく、ついに家出するものさえあらわれる状態もおこっていた(『高林家日記』文久元年九月十三日条)。