ほぼ台地状にあって、ごく緩やかに北方への傾きが見られる土地である。青山の名称の由来は、天正一八年（一五九〇）徳川家康による譜代の功臣青山忠成にこの町域を給地としたという説が有力のようである。
明治二年（一八六九）には善光寺門前が善光寺町に、炉路（ろじ）町・五十人町が青山相生町として改称・設置され、翌年には青山若松町・青山浅河町・青山相生町が青山和泉町、麻布今井町飛地が青山北和泉町とされた。また明治五年には武家地・寺社地に町名を及ぼし、現町域は青山北町一〜六丁目と、新設された青山三筋町一〜二丁目、青山六軒町（一部は現在の元赤坂二丁目）となった。
明治維新後、商店は現青山通りを中心に徐々に展開されていったが、現一〜二丁目裏には日比谷練兵場の廃止に伴い明治一九年に青山練兵場が建設、同二四年には一丁目に陸軍大学校の建設と近衛歩兵第四連隊が霞ヶ関から移ってくるなどの動きがあった。明治三三年には東京府立師範学校が現三丁目へ移転してきて青山師範学校と改称、同四四年には電話局青山分局が開設された。
戦後は復興過程において区立青山中学校や都営アパート、秩父宮ラグビー場、日本最初のボーリング場などができた。青山通りは、立体換地で町並みが一新され高層化が進み、赤坂や六本木と並称される先端的な市街を構成していくこととなった。なお、昭和四〇年（一九六五）四月一日、渋谷区原宿一丁目の一部を区境の変更により港区に編入、翌年の住居表示実施により、この地域含め北青山二丁目となった。