水哉園はますます隆盛を極めたが、仏山にとっては、家庭的には不幸が続いた。
　安政五年、兄の義暁が死去する。同六年に養嗣子の達次郎と次女小桃が結婚するというめでたいことがあったが、自身は中風を発病し、軽度の右半身の麻痺で歩行困難になる。仏山、五〇歳の時である。八月には妻の久子が急逝し、仏山は悲嘆に暮れたであろう。
　文久元年には次女小桃が逝去する。慶応元年には、養嗣子の達次郎と四女の筆とが結婚する。
　慶応二年、長州戦争、農民一揆が起こり、一時、水哉園を閉じ、塾生を帰国させることもあった。明治元年には後室の末が亡くなる。
　明治三年には養嗣子達次郎が医学勉学中、紀州で客死。そのため上本家の碩次郎を養嗣子にし、三女金と結婚するが、明治一二年九月二七日、仏山は脳溢血のため死去、享年七〇歳であった。