嘉永元年(1848)、18歳のとき青雲の志を立て、森田斐雄等と江戸に上り、幕臣内田彌太郎の門に入り、算数・測量・天文・暦学・地理・蘭学等を学んだ。
　22歳嘉永5年には更に下曽根金三郎に従って蘭学・砲術等の教えを受けた。この江戸修学の時代は、最も刻苦精励、蛍雪の苦学を積み、基礎が作られ、内田・下曽根に認められ、推薦により勝安芳(安房)の門に入った。
　安政2年(1855)、幕府は長崎に海軍伝習所を設け、海軍ほかの軍事科学教育を行った。小三郎も勝の門下生として長崎に随行し、伝習所が廃止された同6年まで当時の日本人としては最先端の教育を受けた。この折の長崎航海日記が「美美婦久呂(耳袋)」で、内田・下曽根門で学んだ学問を緯度・水深・風速等実地に応用している。また、長崎遊学中の安政5年(1858)にオランダ水陸軍練兵学校の教科書を「矢ごろのかね　小銃殻率」として翻訳・出版した。これらは現在、上田市立上田図書館「花月文庫」に所蔵されている。