鬼吉は自分の息子である島村梅年に五代目の庵主を継がせたが、世襲はこのケースだけでほかは有力な弟子が推薦されて後を継ぐという方法がとられた。以降は六代戸賀崎琴松、七代野口雪蓑、八代賀島琢我（かしまたくが）と続いていくが、次第に俳諧結社としての多少庵の勢いは衰退して行き、戸賀崎琴松が庵主の時代には石塚机芸らが「柳風連」と改名するという事態にまで発展した。そのほか、鬼吉の子孫である島村繁や島村盛助（俳名苳三（とうざん））が多少庵を名乗っているが、正式な嗣号披露はしていないようである。岩波の英和辞典で有名な盛助が死亡した昭和二十七年（一九五二）の時点で多少庵は結社としては消滅している。