北部は低い平地で、南西にかけて次第に高く丘陵状になっている。虎ノ門の名称の由来には諸説あるが、四神説で西を司る白虎によるとする説が有力であるらしい。
明治二年（一八六九）に西久保巴町と西久保広町、西久保明船（あけふね）町（後に明舟町）、今入町が置かれ、同五年にはこれらの町と武家地・寺社地を編成して琴平町、西久保桜川町、溜池葵（あおい）町、西久保城山町が設置された。明治維新後は一旦停滞するも、京極家邸内社の金刀比羅宮付近から次第に都市街としての様相を持つようになっていった。
その後、芝今入町が昭和二四年（一九四九）に芝虎ノ門と改称されるなどの変化はあったが、住居表示まで町域・町名が維持された。戦前は丘陵部にかけて住宅も見られたが、戦後、特に高度経済成長期に入るとビル化が進み、大中小のビル群がそびえ立つ街となっていった。平成二六年（二〇一四）三月に環状二号線の新虎通り区間の開通により交通の利便性が飛躍的に向上した。この道路は、第二種市街地再開発事業により整備されたもので、この事業により虎ノ門ヒルズ森タワーが同年六月に開業、令和二年（二〇二〇）には日比谷線の新駅である虎ノ門ヒルズ駅が開業するなど、官庁街と接する新たな繁華街としての性格を強めている。