吉野家は多摩郡野崎村の名主の家で父順貞は漢方医も務めた。長男泰三は、天保12年（1841）に生まれ、23歳で名主見習となり、25歳の元治2年3月24日に天然理心流に入門した。しかし、近藤勇は新選組の局長として京都で活躍していたので、勇から剣術を習うことはできなかった。泰三は一時は勤皇家として活躍したが、その後病気をしてから、志を変えて30歳の明治3年に医業を継いだ。その後、副戸長、戸長を務め、39歳で北多摩の初代県会議員となり、42歳のときに自由党に入党し、自由民権家として活躍した。明治22年9月には、北多摩正義派を結成し、独自の政治活動を行った。三多摩壮士が、政治的に介入し暴力事件などが起きた。近藤勇の甥で天然理心流の剣客であった近藤勇五郎は、吉野泰三を尊敬していたので、その用心棒を務めたと思われる。明治22年1月に、勇五郎は新選組関係書簡8通を吉野家に寄贈した。これらの書簡は、表装されて大事に保管されてきた。泰三は、明治29年（1896）に亡くなった。