麻布の台地でも東部へ突出した丘脈を中心としており、北側は我善坊（がぜんぼう）の谷へかかり、南は東流する古川への傾斜面となっている土地である。この町域の町屋は近世では飯倉を冠し、飯倉一〜三、六丁目、飯倉狸穴町、飯倉片町などと呼ばれていた。
この町域は珍しく明治二年（一八六九）の町の分合がなく、わずかに同五年に麻布我善坊町が新たに設置されたに留まる。戦前までは、桜田通りの両側に若干の商店街が形成され、そのほかは大中小の邸宅となっていたが、次第に貯金局庁舎（再開発のため解体）、ソビエト大使館（現在のロシア大使館）などが建ち並ぶようになった。ただ我善坊町はやや小規模の住宅地のままであった。戦後は都心化の影響が大きく、大小のビル化が進行している。昭和五〇年（一九七五）には会員制社交クラブである東京アメリカンクラブのクラブハウスが二丁目にオープンし、日米文化交流の重要な拠点となっている。
現在、一丁目を含む区域で大規模な再開発が進んでいる。