小三郎は慶応2年(1866)2月、決然上田を去って京都に上り家塾を開いた。その間の経緯を『赤松小三郎先生』は次のように述べている。「先生修業全くなり、又下曽根塾の諸用整理終わりて藩に帰る。然れども藩遂に用いる能わず、…。蛟龍(こうりゅう)遂に池中のものにあらず、慶応2年2月決然藩地を去って京都に出られた。」「先ず家塾を開いて、兵制改革の要を説き、英国式新兵法を教授し、傍ら泰西の新科学、政治論まで講述された。諸藩の士争いてその門に来たり学ぶもの多きに至った。…忽ちその名声を聞き、入塾せるもの八百余名に達した。」大垣藩士、後の陸軍少将可児春淋の談話筆記によると、講義は毎日午前3時間、午後2時間で、午前は専ら英国式歩兵騎兵の練法と、射撃に関するもので、午後は世界最近の戦史と究理学と航海のことで、時々課外として世界の政治組織についての説だったという。
　この家塾が有名になると各藩は小三郎を争って招聘しようとし、薩摩藩島津久光は特に礼を厚くして招聘し、京都藩邸が薩摩塾となった。
　一方、小三郎は慶応2年8月幕府へ数千語に及ぶ建白書「方今世上形勢の儀に付乍恐奉申上候口上書」を上げた。幕府は小三郎の逸材を認め、「開成所教官兼海陸軍兵書取調役」に抜擢しようとして上田藩に交渉してきた。しかし、上田藩は嫉視からかこれを断り、代わりに小三郎に上田への帰藩を命じてきた。
　小三郎はその間の心境を兄への書簡の中で、「上田にて事を開き日本に弘め候事は出来不申皇国に事を開き候へば自然上田は開け申し候へば適当の忠節之心得に御座候」と書き送っている。