大総督府は飯能討伐を決定し、筑前・筑後・備前・佐土原・大村の諸藩の兵士に、振武軍掃討を命じた。その先鋒は二一日に川越に達した。そして二二日朝、鹿山（日高町）へ出兵するよう指図した。更に前橋藩にも使いを出し、小川（小川町）へ派兵して、その方面へ脱出する敵を押えるようにした。また同日、忍（おし）（行田市）に駐屯していた芸州兵は、川越藩からの要請によって、忍兵とともに二二日払暁、川越へ着いた。この隊は坂戸方面を固め、同方面へ脱出する敵に備えるため、同夜、坂戸に到着した。
　一方、主力部隊は、二二日扇町屋に到着した。翌二三日、飯能を攻撃することに決定し、各藩の攻撃部署を割り当てた。筑前・筑後の兵は、双柳（なみやなぎ）を経て飯能の右翼へ進撃する。備前・佐土原・大村の藩兵は、野田を経て正面から飯能を攻撃するというものであった。
　二三日暁、右翼攻撃隊は扇町屋を出発し、双柳（なみやなぎ）村まで進んだ振武軍と遭遇したが、ただちに大砲・小銃で応戦し、相手は敗走した。その後の戦況は、当時の記録である「飯能青蠅（あおばえ）（※註1）」によると、「打っては退き、退いては打ち、中山智観寺前まで引取るとき、同寺の賊徒が後詰に出て、飯能裏までまくり立てられた同勢を引留め、入替り、官軍と戦いしが、ついに智観寺も攻め落され、ただちに能仁寺に向かう道に、賊徒聖天（しようてん）に隠れおり、木の間より躍り出て、ここを先途（せんど）と防戦したるに、大小砲二百挺にて打立てられ、賊士一人討死、ついに敗走す。」
　大村・佐土原・備前の各藩からなる本隊は、笹井を発って、各所の伏兵を追い払い、飯能市街の前面に到った。激しい銃撃戦となり、振武軍は必死に戦った。午前一〇時に、二発の砲弾が能仁寺の本堂の屋根に命中し、たちまちのうちに燃え始めた。これを見た攻撃隊は突喊（とっかん）の声をあげて、能仁寺の前面に迫った。振武軍は小銃を連ねて迎え撃ったが、攻撃軍は野砲で応戦し、まもなく、先を争って本堂へ突入した。振武軍はついに潰乱した。
　この戦争で、征討軍は死者五名、傷者五名を出し、振武軍も死者三名、傷者五名があった。ただし、征討軍の残敵捜査によって、二名が討ち取られ、一四名が生け捕りになったが、このうち一二名は斬首になったという。飯能周辺は、征討軍の砲火などによって、民家二〇八戸、寺院四か寺が焼失し、大きい被害を受けた。また、家財道具は、振武軍から持出しを禁止されていたので、一切が灰燼に帰した。一般民衆については、振武軍と間違えられたり、あるいは応援したために、飯能および近村で五人が殺された。
　振武軍の敗走兵は、二四日から続々と、かねて約束した集合場所の三峯山に集まったが、百名に満たなかった。総帥渋沢成一郎、副総帥尾高惇忠（※註2）らの将校連中が姿を見せず、再挙をあきらめて、思い思いに散っていった。
　渋沢・尾高の両将は、ともに吾野・都幾川村大野のコースを逃げ、上州草津温泉に潜伏したが、尾高は郷里へ帰り、渋沢は江戸へ潜行して、六月中旬、榎本武揚（えのもとたけあき）の艦隊に投じて、函館五稜郭に立てこもった。慶喜との主従の縁は浅かったのに、最後まで闘志を捨てなかった一人である。
　渋沢成一郎は、のち捕えられて獄に下ったが、明治五年出所、名を喜作と改めた。渋沢栄一の助力によって大蔵省に出仕した。退官後は実業に従事したが、二九年、東京商品取引所理事長を最後に隠退した。
　尾高新五郎惇忠（藍香）は、明治五年、わが国に初めて設けられた官営富岡製糸工場の初代工場長となり、辞職後は渋沢栄一と実業に従事した。