往時、玉江家には、多くの文人・墨客がしばしば足を留めて、余技を楽しみながらゆっくり休める「快哉(かいさい)楼」という建物があった。これは玉江家七代彦右衛門(宗徹)が天保年間(一八三〇～四四)に画室および来客接待用として建てた三階建の家屋である。
　当時は封建時代のことであるから、町人身分の者の高層建築は藩庁から厳禁されていた。しかし蓬洲のたっての願いは、御用商人として藩権力との深い関係を有していただけに、多少の条件付きで黙認されたと思われる。
　「快哉楼」が、人目につかぬよう囲みの中に高い樹木を植え込んだり、二階を物置場風に造ったりしたのは、蓬洲の藩に対する自粛の意を表したものと考えられる。
　ともあれ「快哉楼」は、飴屋の全盛期を象徴する建造物であり、蓬洲自慢の別邸であったことは間違いない。三階の最上層からは、木間越しに遙か海上に浮ぶ蓑島を展望でき、訪れた客人たちは思わず「快哉」を叫んだという。
　九代彦右衛門が家督を継ぐに至って、彼と親交の深い島村をこの楼に招いたことは容易に察せられる。殊に島村は若い時分から絵事に長じていただけに、しばしばここを訪れ、絵を描いたりして楽しんだことだろう。島村が飴屋で描いたと伝えられる絵もいくつか残されている。特に二崎に隠棲後は、距離的にもさほど遠くないだけに、「快哉楼」は島村にとって唯一、心の安らげる場所であったに違いない。

　後日談になるが、豊前の農民一揆は、慶応二年、明治二年、四年と都合三度起こった。中でも慶応二年八月の一揆は、小倉城自焼による大混乱に乗じて起きたもので、その範囲も田川・京都・仲津・築城・上毛(こうげ)の五郡に及んだ。郡内の豪農、豪商、大庄屋筋の家は悉く打ち壊され、乱暴狼藉はその極に達した。
　『福岡県史料叢書』第八輯によれば、当地域でも行事三軒、大橋一軒の庄屋が襲われた。しかし、六郡大庄屋上席で、領内屈指の豪商、飴屋は一揆の対象から外された。
　なぜか－－。古老の伝えでは、飴屋は藩の実力者島村様とのつながりが深く、仕掛けたら必ずあとで大きな犠牲が出ると、一揆の首謀者たちが思っていたからだという