明治十二年高俊は嚶鳴社を退社して山川善太郎(栃木町の人)や土居香華等の論客と手を携えて自由民権論の急先鋒となり、神田淡路町の貸席にて傍聴料を取る公開政談演説会を開いた。これは我が国に於いて初めての公開演説であった。これまでの演説会は同志が意見を交換することに止まって、一般人に呼びかけると言う公開的のものではなかった。当時の自由民権論者板垣退助は国会開設請願の運動を起こしていた。高俊はこれに加わり明治十二年十一月政治結社北辰社を設け北辰雑誌を発刊して同志を集め活動を起こした。二十四歳の時であった。これより高俊は雄弁家から政治家に変った。翌十三年二月北辰社の演説会を浅草の貸席にて開き、当時問題となっていた御用商藤田組のにせ札事件を痛撃して天下の注目をあびた。政府はこれを治安に害があるとして、高俊は東京府下の公衆集会の席で演説討論することを禁止された。(同年七月解除される)
先に国会開設の請願運動を起こした同志と十三年三月開設の請願書を政府に提出したが拒否されたので、同年十一月代表者が会合して国会期成大会を開き政党組織の議が持ち上がり同年十二月同志会合して自由党結成の盟約をつくった。その中に高俊も加わった。自由党は翌十四年十月再び会合して結成することを約束したが、結束力の弱い欠点ありと同年関八州の同志を募って政治結社関東同志会をつくった。後の政友会の基である。政府は輿論に鑑み明治二十三年国会開設の旨公布した。高俊はそれ以前に開設したいとの急進論を主張したので、とらえられ禁獄三年罰金二百円の刑に処せられた。十八年二月仮出獄を許されたが、獄にあるうちに状勢が悪化していたので屡々政治演説会を開き、又憲法や国会を一般にわかるよう平易に書いた『西哲夢物語』を刊行した。これが出版条例に触れ再び獄につながれた。獄中より父静斎に出した書信によると、闘士であった反面、親に心配をかけたことをわび、家族を思う情の深い人情味豊かな風格がうかがわれる。出獄後条約改正反対の演説会を開き、同年九月下都賀郡壬生興光寺において演壇に立つ前突然倒れ絶命した。年齢三十四歳谷中天王寺に葬られた。