東の大部分は低地にあり、西北部に突出する部分は、西へ登る麻布台地斜面のすそとなり、日ヶ窪末端の谷地形にかかっている。
【善福寺門前町】　中世以前の発祥と考えられる集落は、まず現在の三丁目八～一〇番を占めていた善福寺門前元町で、幕府が町屋と認めたのは慶安五年(一六五二)で、近郊集落の市街への組みこみを認定したものといえるだろう。元町とは、善福寺門前集落のなかでも、最初にできた町屋の意味という。東町(南麻布一丁目)、西町(元麻布一・二丁目)より早かったということである。
　善福寺(元麻布一丁目六番)の縁起(元麻布の項参照)から考えて、集落の起原も相当に古く、隣接坂下町に及んだ雑色(ぞうしき)という地名にも、古めかしさが感じられる。
　百姓町屋、つまり農業集落と考えられるのは、二丁目九～一一番と一二・一三番間の左右、つまり雑色通り両側の坂下町、一丁目一・三・四番の永坂町で、永坂では、寛永六年(一六二九)屋敷改めがあって家作を許可されたとあるが、これらの町は、おそらく中世以来直接間接に善福寺と縁があって、その維持力となり、また、江戸の消費人口の増大を受けて生産も増加したものと思われる。
　寛文八年(一六六八)になると、一本松町の前身の村落が、家作改めとともに麻布村からわかれて一村をなしたというのも、江戸の急成長の影響を受けたためであろう。現在の二丁目四・八番から元麻布一丁目三番あたりへかけてあった町屋となっていった。
【十番の由来】　そのほかの町域は、原野と古川の水が及ぶ湿地であったに違いないが、延宝三年(一九七五)には、古川の改修工事が幕府の救済策として実施され、今の一ノ橋まで船の遡航が可能になった。この改修のとき、工区の割当が十番目に当たり、その表示杭がのちまで残って、十番の地名の起こりになったという(『竹橋余筆別集』『再校江戸砂子』)。これには、元禄十一年(一六九八)白金御殿普請(南麻布の項参照)のとき川ざらい人足の十番目の組を出し番組印の幟(のぼり)を立てて運んだからという別説(文政町方書上『十番馬場町』)や、それが寛文七年(一六六七)金杉橋多門建設のときという別説(同前『新網町一丁目』)もある。
　天和(一六八一～八四)のころ、同朋町の拝領町屋が今の一丁目一〇・一一番あたりにでき、また道となり、さらに麻布村の百姓地になったりしている。
【近世の発展】　宝永四年(一七〇七)には永坂町の一部が道路敷になって、下谷・神田・深川に代地を受けているという。同年にはまた、芝新網町の一部が武家屋敷に召しあげられ移転してきて、現一丁目八・九番のところで七割増坪で麻布新網町となった。これが同六年に新網町の元地の武家屋敷が取り払いとなり地主五人を残して戻り、あとの空地がしだいに拝領町屋(のち宮下町)になっていったという。そして現在の一丁目へんに当たる草地に表坊主や陸尺(ろくしゃく)の拝領町屋ができたのも同じ年だった。このころに、十番が市街の体裁をなしてきたと考えていいのではないだろうか。それから四年後の正徳三年(一七一三)にはそれらの町屋が坂下町、宮下町、永坂町、一本松町(元麻布の項参照)の名をえて、いっせいに町奉行支配下にはいる。
　享保八年(一八二三)には、新網町の一部(一丁目一〇・一一番の部分)が用地となり、代地は現東麻布三丁目のうちに受けてこれを二丁目とし、先の残りが一丁目となった。用地にされたのは植木屋の拝領町屋にするためで、空地を開発しては木竹を植え幕府に納めるのが無償だったため、各所にあったその土地を集約して収入のための町屋にさせてもらったものだった。(これはのち享保二十年に飯倉新町を名乗る。)
　享保十四年(一七二九)には芝の新馬場が竹姫の御守殿用地に召しあげられ、一丁目二番東北端から東麻布三丁目へかけ東西に長く移ってきた。その拝領地の一部に三ヵ所の町屋を許されたのが享保十七年で、いずれも十番馬場町を唱え、翌年永坂町の名主支配と決められた。馬場西端の一ヵ所が現町域の一丁目二番北部に当たる(他は東麻布三丁目六番東端あたり)。同十八年には新網町二丁目の拝領地の一部が沼地でぐあいが悪く、二丁目一六～一八番、三丁目二・三番のあたりに代地を受けた。新網町二丁目代地をつめて網代町(あみしろちょう)といった所である。一帯に武家屋敷が大半を占めた麻布では例外的に町屋の比率が高いところであり、現在の十番商店街の素地は、すでに近世にあったといってよい。
　なお、この町域にも一丁目一番のごく一部や二丁目六番の東半などには、幕末まで麻布村百姓地が残り、また、寺社には伝承ながら古いものがある。竹長稲荷は鳥居坂上に和銅五年(七一二)、または弘仁十三年(八二二)勧請で式内社稗田神社と称していたもので、寛永元年(一六二四)一丁目三番先の現道路敷に移った(戦災後末広稲荷と合併、一丁目四番の十番稲荷神社となる)。末広稲荷は慶長年間(一五九六～一六一四)に創建、青柳稲荷ともいい、二丁目四番東北角にあった。
　本善寺は寛永二年(一六二五)に二丁目四・八番間の西端に創立、七面大明神で知られ七面坂の名の起こりとなった(戦後五反田へ移転)。
【明治以降の移り変わり】　明治二年(一八六九)新網町の丁目をなくし、十番馬場町を合併、善福寺門前元町を山元町とするなど町名を整理、同五年には武家地・寺社地を山元町や坂下町などに合併している。
　町域東辺の古川沿岸に町名が麻布新広尾町として設定されたのは、明治四十四年(一九一一)で、それ以前は八郎右衛門新田と記され、明治十年代までは河川敷だった。近代には神楽坂と並ぶ山の手の繁華街の代表的な町域として繁栄し、花街も大正年間に新たに生まれた。
　戦後、一・二丁目界隈の商店を中心に復興したが、映画館、寄席はなくなり、盛り場的要素よりも、大規模の最寄商店街として繁栄してきた。昭和三十代以降付近に高層マンションも目立ってきている。
　昭和三十七年七月三十日の区画整理で里俗称としてあった麻布十番の町名を採用し、三丁目を設け地番を整えた。昭和五十三年(一九七八)九月一日の住居表示にさいしては、古川沿岸町域の一体性を考えて四丁目を新設し、麻布宮下町の残りの部分を加えた。