天保六年(一八三五)、仏山は生地上稗田村に水哉園を開いた。二六歳の時である。

　全国的に見ると、私塾が次第に地方に開設されるのは、寛政年間(一七八九～一八〇一)からである。『近世教育の発展と展開』(木村政伸著)によれば、当初は、藩校の補完的な性格を持ったものが多かったが、一九世紀の初・中期になると、藩校などとの関係を持たない独立した私塾が多数出現する。「これは庶民を対象にした私塾で、師匠も庶民出身が多くなる。またその背景には、寺子屋の普及があり、それは庶民の文化的力量が高まったことが私塾教育へ影響した」という。
　文化・文政の頃になると、私塾は急激に増加し、天保年間(一八三〇～四四)には全国で二一九校に達したという。九州ではすでに日田の咸宜園(一八〇五年)、上毛郡の蔵春園(一八二五年)が開かれていた。
　水哉園開設には、仏山が学問好きであったこと、母親の強い勧めがあったこと、次男として生まれて家の後継者ではないので、農業以外の生業で生活していかねばならなかったなどの事情があった。
　水哉園の名は、『孟子』の離婁章句の中に出てくる「仲尼しばしば水を称して『水なる哉、水なる哉』といひたまへり」の一節から採ったといわれる。これは、水の流れに源があるように、学問にも根本が大切であるという意味である。「長峡川のほとりに建つこの私塾にはふさわしい名であろう」(村上良春「昭陽先生、古処先生に学んだ『村上仏山』について」)
　後に「水哉園の詩、門生に示す」のなかで、仏山はそのことについて詳しく述べている。門下生に対しても意義を説いたのである。これは現代ならば、校訓とも言うべきものだろう。「水には水の仁に則るべし」、「水の智に学ぶべし」と詠い、「子(あなたたちも)の師は水にあり」という。いかにも仏山らしい塾の名である。
　水哉園には入門知事(入門帳)があった。入門者のなかには入塾者と通塾者がいた。最初の入塾者は二人であったが、次第に増加していく。当初、塾生は近在の子弟であったが、遠方からの門下生が出てくると、塾内に寄宿生を置くようになり、その数も年々多くなっていった。

　創立後五年目の天保一一年春、屋敷の奥に一軒新築し、今までの家を塾舎専用にした。この時初めて「仏山堂」と名づけた。
　弘化元年(一八四四)には東西二塾に分けて、両塾舎の渡りに二階の下をくぐり門に造作、「金波楼」と呼んで塾長たちの居室にあてた。
　師匠と弟子が寝食を共にして、学問だけでなく、人間の生き方、考え方、道徳観などを学ぶところに塾教育の特色がある。水哉園も、仏山の学識と人徳に加えて塾の厳しいしつけが評価され、塾生が各地からやって来た。