古川北岸の高台にあり、現二丁目一四番付近を最高所に一丁目は東へ傾斜し、その中腹に善福寺があり、東北へも三丁目が日ヶ窪の谷へ傾斜面をもっている。
　この地一帯が、麻布となる以前は「阿佐(左)布」と書かれた。永禄二年(一五五九)の『小田原衆所領役帳』が初出で、同九年の善福寺(一丁目六番)あての北条氏朱印状、豊臣秀吉朱印状等にも阿佐布と書かれている。
【麻布の由来】　近世にはいってからは、地誌等には「安座部」「浅府」「浅生」「麻生」などとも書かれた。その由来は、麻の旗が降った、浅茅生(あさぢう)の土地であったなどというが、『文政町方書上』の本村町の個所では、百姓が副業に麻を作って布に織り、紙にすいていたために名づけられたとし、正徳三年(一七一三)町方支配となるころに「麻布」の文字に書き改めたという。しかし、元禄三年(一六九〇)の『江戸国鑑綱目』には、すでに麻布とみえ、『慶長見聞記』にも麻布と書かれているという。
　また、前記の文書には、白金之郷阿佐布善福寺とも、飯倉郷阿佐布善福寺とも書かれている個所もあるので、正しくは白金と飯倉のどちらに属したか明瞭でない。いずれにせよ阿佐布の文字はほとんど善福寺とともにみえ、その山号も麻布山(近世に一時家光の命名で亀子山ともいったが)で、世襲住職の姓も麻布である。
【善福寺】　善福寺は弘法大師開創(伝承としては江戸で浅草寺につぐ古刹、境内に「麻布七不思議」に数えられている大師ゆかりの泉、柳の井戸がある)と伝え、親鸞上人によって了海が浄土真宗に改宗したといい(親鸞の杖が生えたという天然記念物のいちょうもある)、戦国大名にも匹敵する勢力をもった。また、ここの湧水のため古くから住居の好適地とされ集落ができ、それによって寺院も維持されたと考えられる。
【中世から近世へ】　地域内の中世以前からの村落は、町域南辺の本村、それに二丁目五番と三丁目五・六番の境界両側と三丁目一一番あたりの宮村(天慶九年〔九四二〕源経基勧請あるいは文明元年〔一四六九〕太田道灌勧請ともいう麻布郷総鎮守氷川神社がある集落の意。近世の宮村の町屋には現六本木六丁目一番も含む)、ほかに一本松(源経基などさまざまな伝説をもつ)付近の麻布一本松町、西部傾斜面下の麻布坂下町などである。いずれも起原が明瞭でないことは、近世以前からの存在であり、武家地・寺地の拡大の間に残された集落であったからであろう(なお、町域西辺に当たっていた麻布桜田町は西麻布の項参照)。
【寺社門前町】　さらに、門前町として春桃院(享保十五年〔一七三〇〕許可)、台雲寺門前(享保十六年許可)、善福寺門前元町(慶安五年〔一六五二〕許可)、同西町(宝永七年〔一七一〇〕許可)、正光院門前(寛永八年〔一六三一〕許可)などがあり、宗与屋敷・貞久屋敷という大将棋所名人と西の丸表坊主拝領の町屋や麻布永坂町の代地もあった。
　これらの町屋のうち、宮村町に藪下(やぶした)というところがあって、岡場所として知られていたというのが、町域中でも特異な点である。
　寺院としては前述の善福寺等のほか、大法寺(慶長二年〔一五九七〕開創、大黒天安置)、長伝寺(寛永元年〔一六二四〕開創、板碑所蔵)、賢崇寺(寛永十二年〔一六三五〕鍋島勝茂が子の菩提のため高輪正重寺を移して開創)、安全寺(寛永元年〔一六二四〕開創)などや、増上寺隠居屋敷(万治二年〔一六五九〕麻布氷川神社移転の跡へ作った)などが、この地の重要な存在であった。
【武家地】　武家地では、佐賀藩鍋島家抱屋敷、日向高鍋藩秋月家上屋敷など五藩の屋敷があり、御賄方大縄地もあった。その余は幕末まで残った代官支配の百姓地が二丁目三番や三丁目五・六番のうちに多少存在した以外はほとんどが幕臣の邸地である。
【がま池伝説】　幕臣の邸地のうち、とくに触れておきたいのは山崎主税助邸で、この邸内の池のがまが罪を許された報恩として文政六年(一八二一)四月二日の火事に水を吐きかけて屋敷を守ったというので、防火と火傷の上の字(じょうのじ)様という護符を配付するようになった。これは明治維新後家臣筋の清水家から、さらに坂下町の末広神社で扱っていたが、大戦中に同神社が建物疎開となったためすたれてしまった。また、がま池そのものも現在ではごく一部を残すのみである。
【明治以降の移り変わり】　なお、明治維新後は各寺門前の町屋は各町に合併あるいは改称して、麻布を冠称して本村町、山元町、一本松町、西町、宮村町、桜田町などとなった。明治五年(一八七二)には武家地・寺地にも町名を設定して、町域のうちでは麻布三軒家町にはいったところもあった。
　この地域は全体的に静穏な土地がらで、しだいに住宅化し、中央部の大隅山、内田山などに新道が開かれたりしたが、交通機関は発達せず住宅街としての町並には変わりがなかった。
　戦災後もやはり住宅街の性格を保ちつづけているが、邸宅の高級マンション化も進んでいる。ただ、三丁目一〇・一二番間の両側に多少の小工場が散見されるが、地域内の交通はいぜんとして、南辺、西辺にわずかに一路線ずつのバスが通過するだけで、区内でもっとも静かな住宅街のひとつである。
　この間にあって、麻布学園と西町インターナショナルスクールの存在が目立っている。