政府は、西南戦争という最大の士族反乱の鎮圧に成功したが、明治一一年（一八七八）八月に、その後の論功行賞に不満を抱いた近衛砲兵大隊の兵士が中心となって蜂起（ほうき）し、待遇改善を明治天皇に直訴しようとした竹橋事件が発生した。事件そのものは、発生後数時間で鎮圧されたが、軍内部における秩序維持の必要性が議された。さらに、西南戦争の終結により、武力から言論による政府批判への転換が進んだことが自由民権運動の活発化を招き、その対応も必要となっていった。
　こうした状況において、明治一四年一月に憲兵制度が創設される。同年三月の憲兵条例によれば、憲兵とは、「陸軍兵科ノ一部ニ位シ巡按検察ノ事ヲ掌リ軍人ノ非違ヲ視察シ行政警察及ヒ司法警察ノ事ヲ兼ネ内務海軍司法ノ三省ニ兼隷シテ国内ノ安寧ヲ掌ル」ものとされている（「太政類典」五）。すなわち、憲兵は軍事警察・行政警察・司法警察を任務とし、軍事警察に関しては陸海軍大臣の、行政警察に関しては内務大臣の、司法警察に関しては司法大臣の指揮をそれぞれ受けることとされたのである。軍事警察は陸軍の憲兵隊に一本化され、海軍は警察組織を有さず、海軍の要人警護なども陸軍の憲兵の任務とされた。
　憲兵の設置にあたっては警察も大きく関与している。憲兵創設時の東京憲兵隊の定員一六一二名のうち、八五三名が警察からの転出であり、憲兵隊長は警察出身の三間正弘が任ぜられ、憲兵少尉以上の士官三五名の内二〇名が警察出身者であった。憲兵への転出者の多くは、西南戦争に際して新撰旅団において軍事訓練を受けた警察官であったことから、警察が有した軍事的機能が分離され、陸軍に統一されたと考えることもできる。
　なお、憲兵本部が設置された東京府は、六つの管区に区分された。港区域は第二管区（芝区・麻布区・赤坂区・荏原郡）となり、明治一四年九月に東京憲兵第二管区赤坂分屯所（赤坂八丁目近辺）が設置された。赤坂分屯所はたびたび改称されるが、大正二年（一九一三）一二月に東京憲兵隊赤坂憲兵分隊とされ、以降はこの名称が定着した。
　赤坂憲兵分隊は、平時は管内の治安維持・警備などに当たったほか、ポーツマス条約に反対して発生した日比谷焼打事件の鎮圧など、暴動・騒擾（そうじょう）の鎮圧や、関東大震災に際しての要人警護など災害時の緊急警備などに従事している。