小笠原藩時代、九州を代表する在郷商人として活躍したのは飴屋こと玉江家であった。飴屋は飴の製造販売をはじめ、醤油・酒醸造、製蝋業(板場商)、綿実商、諸物産売買(登り商)、質商など旧小笠原時代様々な事業を行い、屈指の豪商となっていた。全国の富豪を番付表にした明治六年の『大日本持丸長者鑑』によれば、玉江彦右衛門は東前頭二二枚目に上げられており、明治初期にも屈指の富豪であったことがわかる。
　しかし、この当時玉江家の諸事業は急速に衰退しつつあった。すなわち、幕末から明治初期にかけて、飴屋は登り商、質商、綿実商を次々に廃業し、明治一〇年代には板場商や酒造業をも断念したのである。明治に入って米商や呉服商を始めているが、それも失敗した。その衰退振りは、明治一九年の「飴屋財産糶(せり)売広告」や旧藩主に対する田地買い上げの嘆願にうかがうことができる。京都仲津郡長への特別御願で、「去ル慶応年中以来種々災害失敗ニ罹リ家産将ニ滅盡ニ帰スヘキ惨境ニ陥リ候ニ付非常大改革ノ必要ナルハ曽(かつ)テ御苦慮ヲ煩(わずら)ハシ候通リニ有之候処右改革執行ニ付テハ御旧恩ニ縋(すが)リ小笠原伯爵公ヘ田地特別御買上ノ義別紙ノ通リ懇願致度候……」玉江彦太郎『小倉藩御用商行事飴屋盛衰私史』)とその窮状を訴えなければならなかった。
　隆盛を誇った飴屋が何ゆえ急速に没落していったのであろうか。この点については、飴屋の経営資料の分析を待たねばならないが、少なくとも次の点は挙げることができよう。
　第一に、幕末から明治にかけての政治的経済的変動による家業全般の悪化である。とくに慶応二年の長州藩との戦争とその敗戦は、登り商や綿実商、板場商に大きな打撃を与えずにはいなかったといっていい。この時代、諸藩の多くの有力商人が没落した。
　第二に、幕末期藩御用達商人として小笠原藩に多くの負担を強いられたという点である。玉江家は幕末期通常の冥加金のほか、多額の献金を行っている。例えば、文久三年には宇島の小今井助九郎、大橋の柏木勘八郎、行事の堤平兵衛とともに小倉西浜壱番台場の築造にあたって三〇〇両、慶応元年には汽船買入費の一部として金六〇〇枚を献上した。明治二年の豊津藩庁の建設に当たっても中原屋や柏屋、万屋とともに巨額の資金を拠出した。また同年、藩校が再建(「育徳館」として創立)されたが、その費用七〇〇〇両は玉江家が負担した。一方、藩に貸し付けていた一万両の元利返済は、対長州戦争前から滞ったままであった。多額の献金、出財の替わりに藩から得たのは、一〇石三人扶持の武士に召し抱えられるという名誉であった。
　第三に、当主に経済的変動を乗り切る気概と意欲が欠け、実質的な経営者であった番頭に人を得なかったという点である。この時代、三井や住友といった江戸時代の代表的特権商人も危機的状況に陥っていたことはよく知られているが、三井、住友がその危機から立ち直り後に財閥として成長していくことができたのは、三野村利助(三井)や広瀬宰平(住友)といった新たに加わった番頭(経営者)に負うところが大きかった。玉江家ではこの時期、当主は経営にかかわらず、番頭に委ねていた。しかし、その番頭たちは不祥事によって次々退職し、支配人は米相場によって大きな損失を負った。支配人による玉江家名義の借財は巨額に達し、玉江家はその支払いに追われなければならなかったのである。