赤松小三郎は上田藩士芦田勘兵衛の二男、天保2年(1831)4月4日、今の上田市木町に生まれた。諱(いみな)は友裕、又惟敬、幼名を清次郎といった。後、嘉永7年(1854)同藩士赤松弘の養子となり、文久元年正月小三郎と改めた。
　昭和14年に発行された柴崎新一著『赤松小三郎先生』には、「資性俊敏、豪宕磊落(ごうとうらいらく)、不羈(ふき)で細枝末節を嫌い、多く時俗と相容れず、人みな以て狂奇に近しとした。幼時算数の学を好み、植村重遠の門に入り、その道を修めた。…特に算数に秀でしかば、人皆嘲笑して曰く、清次は算盤片手に町人になる気かと、又以てその異色あしを知るに足る」と記載されている。藩校鐘美館にて漢籍武技を修業した。