慶応四年四月二八日に、渋沢は天野派の追求を遁れると、同志と共に、武州田無を経て箱根崎へ向かった。その間に隊名を振武軍と定め、頭（総師）は大寄隼人（渋沢成一郎）、頭並（副総帥）榛沢新六郎（尾高惇忠（あつただ））、組頭渋沢平九郎と陣容を整えた。総勢は終局的には六百余名と伝えられている。
　一同協議の結果、飯能が攻守ともに最も有利であろうということになり、折よく居あわせた比留間代五郎を道案内として、所沢を経て扇町屋に一泊し、一九日の午後二時頃には飯能へ入った。もっとも、飯能は一橋家の領地のあった土地だから、この付近の地理については、渋沢成一郎は熟知していた。
　この比留間代五郎は、高麗（こま）郡高麗村梅原（現、入間郡日高町梅原）に住む代々の剣客の家に生れ、特に彼は甲源一刀流の使い手として名が高かった。家は弟に譲って一橋家に仕え、専ら武道の指導に当っていた。主君慶喜を守るため彰義隊に加わり、黒門口で奮戦したが利あらず、田無まで落ちのびて、振武軍に合流したのである。
　五月一八日に飯能に到着した振武軍は直ちに宿所を割当てた。能仁寺・観音寺・広渡寺・智観寺・心能寺・玉宝寺の六か寺に強制分宿することとし、本陣は羅漢山（天覧山）の麓にある能仁寺と定めた。
　彼らのもつ武器は、江戸脱出のときに持出した三百挺の銃が主力であったが、ミニエー銃やエンフィルド銃と呼ばれる旧式な前装旋条銃で、鉄砲の筒先から弾薬を装填（そうてん）する〝さきごめ〟銃であった。他に近在から徴発した猟銃があり、銃のない者は刀槍に頼るだけであった。もちろん正式の大砲はないので、木製大砲の調製をはかった。