六〇余人で筑波山に挙兵した天狗勢は、その後駆けつけるものがあり、数日にして一五〇人をこえたといわれる。参加の時期は定かでないが、石下の周助と名のる人物も天狗党に加わっている(新井清家文書)。小四郎らは、筑波山が地形からいっても守備に難があり、不適当と判断。四月三日、彼らは険しい地形で、徳川氏の神廟がある日光山をめざして出発する。一行は四月三日に真壁郡小栗村(現協和町)、四日には下野国石橋宿(現栃木県下都賀郡)に泊まり、五日には宇都宮へと進んだ。さらに、白沢(現栃木県河内郡)、徳次郎宿(現宇都宮市)に泊まって、いよいよ日光に迫った。しかし、日光奉行は神廟日光東照宮に浪士が近づくことを好まず、結局筑波勢の一部が参拝するにとどまった。十一日には、当初の計画を変更し、彼らは今市から下野鹿沼、金崎宿(現栃木県上都賀郡)に移って、十四日には太平山(現栃木市)に登り、ここを根拠地とした。
　天狗党の一隊は、その後一か月半にわたり太平山に滞陣する。そんななか、四月二十六日夜、孫兵衛新田で旅籠を営む直七方に、乗馬の四人とその従者七人の合計一一人の侍が止宿した。一行には不明な点が多いが、彼らの会話から首領格の名は飯田軍蔵と名のるものらしかった。翌日、彼らのうち九人は外出するが、猿島郡中で茶売買の商人達を廻文で呼びだし、御用金を申付けている様子であった。彼らの不審な行動に村民も敏感に反応し、田植えの季節にもかかわらず、戸を閉ざして身のひそめていると、五月一日一行は太平山方面へと出立していった(秋葉光夫家文書)。
　首領格の飯田軍蔵とは、真壁郡木戸村(現関城町)の名主の出で、幼少のころから学問を志し、下妻藩や江戸の儒者のもとに遊学した。弘化四年(一八四七)には、水戸領成沢村(現水戸市)の加倉井砂山の塾に学び、尊王攘夷思想に強く影響され、筑波山挙兵とともに、藤田小四郎の参謀的存在として大活躍した人物である(『下妻市史』)。