ところで遠州木綿の生産額が画期的の飛躍をみたのは、井上氏が浜松に移封されてきたからだという。この説をはじめて記したのは大正三年版の『浜名郡史』で、同郡史によると遠州織物について「本業(織物)発達の動機は、嘉永年間浜松藩主更迭し、井上河内守上野国館林より赴任の際、新藩主に随ひて来住せし藩主等の家族、内職として結城縞に模倣したる織物を製したるに始まる」とある。嘉永年間は明らかに誤謬であるが、それ以後遠州木綿の発達を説く諸書は叙述に若干の差はあるが、みなこれに拠っている(大正十五年発行『浜松市史』、昭和八年版中道朔爾『遠江積志村民俗誌』、昭和十六年版浜松市役所『遠州織物を語る』、昭和二十五年版遠州織物工業協同組合『遠州輸出織物誌』、昭和二十八年版静岡県繊維協会『遠州織物の推移を語る』、昭和四十一年版山本又六『遠江織物史稿』)。こうして取引もさかんとなり、遠州縞の名がようやく世間に知られるにいたったのだという(『浜名郡史』)。
　そして維新前後になると、問屋・織屋などようやく整うようになったと伝えている。