武蔵野丘陵淀橋面頂部の平坦な丘陵へ、古川支谷の笄谷が南方から深浅六つに分かれて入っている。それぞれが規模に応じた泉頭を持っていたようである。
後述の北青山と同じく、近世に入って大名青山忠成の邸宅ができたことが地名の起源とされているが、この青山邸は現在の南北青山よりも東方へ広がりがあり、地域称として西部へ広がったとされる。
明治二年（一八六九）に青山六軒町と手大工町が青山大和町、青山五十人町飛地は青山相生町と改称し翌年二町が統合され青山和泉町となった。明治五年にはここから原宿村飛地を除外して青山南町一〜七丁目と青山高樹町が設置された。南町とは幹線であった大山街道の南の意味で、高樹町は里俗称である高木町の文字を変えたものであった。なお、現七丁目には武家地・寺社地に新設された麻布笄町域を若干加えている。明治二二年の東京市制施行にあたって青山南町七丁目は渋谷村へ移管され、原宿村飛地の一部は赤坂区へ編入、翌年に飛地を南町五丁目に入れた。
明治の町況を見ると、現青山通り側に住宅などを残し、背後は畑となっていたようである。現一丁目には邸宅も住宅もできていたが、明治二四年以降は南の大部分が陸軍射撃場となったり麻布連隊区司令部があったり東京逓信局施設ができたりするなど、やや特殊な町況であった。現二丁目は南の大半が明治五年に墓地とされ、管理が東京府から東京市に移管された後、昭和一〇年（一九三五）からは青山霊園となった。現三丁目は北辺から商店などができたが、宅地化は明治二〇年代からのようである。現四丁目の青山霊園立山（たてやま）地区は明治五年から共葬地となっている。現五丁目は近世に親不知と呼ばれたほど暗く、牧場や種苗場などもあって都市化が周辺に比べて遅れたが、後に華族や軍人の邸宅が建てられた。現六丁目も宅地化してからは華族や軍人、官吏の住宅が多かった。根津美術館は昭和一五年に設立された。現七丁目も概ね叢林から大規模の邸宅街となったところである。
戦後の復興は中小住宅を主として行われたが、昭和三九年の東京オリンピック・パラリンピック開催前に拡幅整備された青山通りにはファッションや装飾品を中心として商店が集積するようになり、現在でも海外の高級ブランドやギャラリーが立ち並ぶ街並みとなっている。