古川北岸の高台に位置しており、現二丁目付近を最高所として一丁目は東に傾斜している土地である。麻布の名称が使われる以前は安佐（左）布と呼ばれ、近世以降は安座部、浅府、浅生、麻生などとも書かれていたようである。
明治維新後は各寺門前の町屋は統合・改称が進み、麻布本村町、麻布山元町、麻布一本松町、麻布西町、麻布宮村町、麻布桜田町などとなった。明治五年（一八七二）に武家地や寺社地にも町名が設定された際、町域のうちでは麻布三軒家（さんげんや）町に入ったところもあった。全体的に静穏な土地柄で次第に住宅化し、中央部の大隅山・内田山などに新道が開かれたものの交通は発展せず、住宅街としての町並みを留めていた。
戦後には邸宅の高級マンション化や三丁目の一部に多少の小工場が建設されるなどの変化が出ているものの、住宅街の性格を保ち続けており、区内で最も静かな住宅街のひとつとされる。