天保七年(一八三六)になって井上藩は上州館林に移ったが、折から天保飢饉の最中のことであり、農村は荒廃して困窮の極にあった。一方かけごとにこり、華美にわたる面もあって、藩士の気風はいっそう乱れ、悪事になじみやすかった。そのため浜松へ移っても、領内の民衆から、かつての井上藩の風儀とはすっかり変わったと驚かれるのではないか、と心配する武士さえあった(『岡村家文書』)。