戦前、工業出荷額の六十八・六％(昭和十年)を占めていた繊維産業は、戦後一時的に「ガチャマン」景気で復活したものの、高度成長期になると設備近代化の遅れと化学繊維の台頭により低迷期を迎える。地域産業における繊維工業の地位は年々低下し、『浜松市統計書』によると平成十二年にはわずか二・三％(工業出荷額ベース)の割合しかない産業になった。繊維産業衰退の理由は、生産拠点が生産コストの安いアジア・中国へ移動する世界史的な変化の中で起きている現象とも言える。しかし、その衰退理由には地域特有の構造的問題もあった。
　浜松地域が遠州綿織物産地として発展・成長してきた要因の一つに、大手紡績会社が多数立地し、川中業種に特化した地元の中小企業がそこからの受注に大きく依存していたところにあった。従って、大手紡績会社が閉鎖や撤退をすると、産地そのものが衰退する結果を招いたのである。
　昭和三十八年当時、浜松地域で操業していた紡績会社は、東洋紡績(東伊場町)、東棉紡績(宮竹町)、玉川紡績(北寺島町)、日清紡績(浜北市貴布祢)、東海繊維(浜北市小松)、新日本紡績(浜名郡新居町)、富士紡績(浜名郡湖西町鷲津)、遠州紡績(浜名郡湖西町鷲津)など(『遠州繊維名鑑』一九六四年版による)であった。その後、昭和四十年に近藤紡績所(中田町)が、昭和四十五年に鐘淵紡績(カネボウ繊維・浜名郡新居町)が新日本紡績の工場を引き継いで操業した。しかし、昭和四十六年の日米繊維協定による輸出の自主規制以降、構造不況が長期化する中で、昭和五十八年に東棉紡績、平成十二年に富士紡績、平成十六年に日清紡績、カネボウ繊維が撤退していった。これにより、大手紡績会社に依存して成り立っていた遠州綿織物産地そのものが地盤沈下していった。
　
【東洋紡績】
　東洋紡績浜松工場は昭和六十年に閉鎖した。東洋紡は大正九年に、地元の紡績会社・浜松紡績を買収し、進出してきた企業である。戦時中には軍需品(軍服や軍用品の縫製など)の生産をしていたが、浜松大空襲で被災し、昭和二十六年に復興した。戦後は最先端機器を備える工場として浜松の繊維産業の隆盛を支え、最盛期には従業員数は約千二百人以上を数えた。
　
【近藤紡績所】
　最後まで残った近藤紡績所も平成十八年十月に浜松工場を閉鎖した。近藤紡績所は、戦後工場誘致条例適用第一号として浜松に進出し、昭和三十年代には年間一千八百トンの綿糸を生産していた。しかし、繊維産業が斜陽化する中で経営も低迷したため、工場用地を有効利用する手段として賃貸業をスタートさせた。浜松工場はゴルフ練習場に始まり、温浴施設、物販店、複合商業施設などを誘致、さらに、イオン浜松市野ショッピングセンターが誘致・建設され、平成十七年に開店した。近藤紡績所のように、浜松では工場の跡地が大型商業施設に代わるケースが増えていった。雪島鉄工所の跡地に複合の商業施設が建設され、東棉紡績の跡地にはイトーヨーカ堂を核店舗にした商業施設がオープンした。
　また、繊維産業の中で重要な役割を果たしてきた総合商社も相次いで縮小・撤退した。総合商社丸紅は平成十一年四月に浜松支店を出張所に格下げ、伊藤忠商事は平成十二年三月に浜松支店を閉鎖した。伊藤忠は婦人服などに使う染め生地を浜松で調達しテキスタイルメーカーやアパレルメーカーに販売、また、地元の縫製業者に布団カバーの加工発注なども行っていた。しかし、繊維産業の落ち込みと、本社と産地の直接取り引きの拡大によって閉鎖することになった。総合商社二社の縮小・撤退は、遠州綿織物産地の地盤沈下を象徴する出来事でもあった。