小泉斐は明和三年（一七六六）黒羽領西郷益子村鹿島神社神職木村市正の次男として生れたが、両郷村高尾温泉神社大宮司小泉氏の養子となり同社の大宮司をつぎ、従五位下甲斐守に任じた。（小泉忠治氏の談によると最初那須湯本温泉神社社掌となり、その後両郷に来たとのことである。）文化十三年（一八一六）五十歳の時藩主増業に招かれて黒羽に移り鎮国社社掌となった。幼より絵を好み、少壮の頃京都に行って、手法を島崎雲圃に習った。又画を円山應挙に、漢学を皆川淇園に学んだ。



　後水戸の立原杏所について研究した。自像画に題した「弘化三天丙午身、老来今事寿将新、山中暦日雖不用、九々年餘又一春。檀山人小泉斐画并題」この漢詩からも漢学の造けいが深かったことがわかる。
　斐、字は子章、一名光定、檀山と号した。又檀森齋、非文同人、青鴛等の別号がある。
　斐は殊に鮎を描くに巧みであった。よく向町の高岩に行って、河中の鮎の生態を観察して写生したと言われている。
　斐は或る年水戸彰考館の学者達と富士山に登り、種々の角度から山を観察して、富岳画譜を版画として世に出した。この富岳の版木（四度ずり）一組小泉家に保存されている。又諸国を巡り歩き奇石、名石数十点を写生し、自ら瓦版を創作して刷り石譜をつくった。交遊の亀田鵬斎、立原翠軒、村瀬栲亭、頼山陽の諸大家がこれに序文を書いて、その刷り方の奇と写生の妙とを賞揚して世に広めた。
　小泉家に残っている石譜の埴板に当時の有名人の讃と名が刻んであるのを見ても交遊の広さがわかる。
　藩主増業は、室の八島考を著し、領内の那須野に、室ノ井、逃室、数室、大野室、薄室、柏室、岡室、板室と呼ぶ地所のあるのは、即ち下野の歌の名所として世に聞こえた所であって、下都賀郡の栃木地方にあったのではないと言う文章を綴り、以上八ケ所の鳥瞰図を斐に描かせ、文章と絵を二枚一組の瓦版として世に広めた。斐は尺に余る美髯をたくわえ、その脱け毛を集めて自ら画筆を作り画を描いた。一風変った趣があり「斐のひげ筆」として請うものが多かった。このような斐にも孫娘が御殿勤めをし、藩主よりカステラを頂いて来た時の喜びを描くと言った温みのある一面があった。その画中に孫國女十一歳嘉寿天良頂戴図、檀山老人斐筆とある。
　嘉永七年（一八五四）七月五日歿した。年八十九歳と言われているが、小泉家の木主によると、前面に前大宮司従五位下小泉甲斐守、藤原朝臣光定神霊、裏面に甲斐守画名斐字子章檀山人止号嘉永七年甲寅七月五日神去齢八十五寿重祝而八十九云故有也とある。
広凌観瀾図、黒羽周辺景観図、黒羽城絵図　揚柳観音図、その他多くの名作が残されている。