水野藩が浜松で行なった政治は、浜松領内の民衆から悪評をうけ、多数の水野藩士はたたき出されるようにして山形へくだっていった。
　水野藩にかわって領主として浜松へ入ってきたのは井上河内守であった。井上藩は二度目の浜松入りであって、二十九年前水野藩が浜松に入るまでの五十九年間浜松領主であった。したがって浜松への国替がきまると、藩の中にも旧領浜松をなつかしく思い出す者が多かった。【棚倉の生活】棚倉の地は浜松にくらべ何かにつけて恵まれてはいなかった。夏はむし暑く蛾(が)や蚊(か)になやまされ、冬は八溝山地から吹きおろす寒風におびえねばならなかった。地勢は何といっても山多く田少なく、そのため井上藩の歳入は浜松時代にくらべていちじるしく減少したので、藩士の困窮ははなはだしく、男子は山に薪をとり、女子は畑に出て自給の野菜をつくり、町家や農家にも雇われて、生活費のたすけとしなければならなかったという(『岡村家文書』)。
　棚倉へ移った翌年の夏から秋にかけて、ことのほか病人が続出し、落命におよぶものも多く、これも極寒のせいであるとうわさされた。棚倉に移ったばかりの数年間の困苦は、のちのちにいたるまで「あわれなること言語に絶する」ものと語りつがれ、子孫の華美をいましめる糧とされた(『岡村家文書』)。
　棚倉は失態をおかした大名にたいする体のよい流刑地ともいうべきところで、喜んで移封されるものとてはなかった。井上藩は棚倉に十九年間久しい困苦に耐えた。