麻布と呼ばれた地域の台土の意であるが、麻布の台地でも、東部へ突出した丘脈を中心としている。北側は我善坊の谷へかかり、南は東流する古川への傾斜面となっている。
　この町域で、現在記録されている遺跡は、一丁目六番の国土庁の庁舎構内に平安時代の住居跡に乱された貝塚があり、同五番の麻布小学校校庭からは縄文土器が採取されたことがあるという。平安時代の住居ができる以前に、おそらくは芝公園内の丸山古墳とも関係のある集落が成立していたかとも思われ、飯倉と呼ばれる地域の古いことが推定される。
【飯倉の由来】　飯倉の地名の初出は、寿永三年(一一八四)の『吾妻鏡』で、穀倉という意味に考えられる(芝公園の丸山を飯座(いいぐら)と考える説もある)。農業生産が豊かで伊勢神宮領へ寄進されたものであろうが、ずっと降って小田原北条氏の『役帳』で見ても、飯倉の生産高は顕著である。当然に集落も発達していたと思われる。
【古街道の要地】　地名のうえからも一丁目九番と二丁目三番の間の榎坂というのは古街道のゆかりとされ、高輪・三田の台地を北上して、この地点に至って西折して青山方向へ向かう中世以前の古街道の要地であったと考えられる。
　近世初頭、高輪海岸ぞいに東海道が開設されたのちも、札の辻からこの飯倉へ向かう往還が主要な江戸への入路であった。日本橋が東海道の起点と定められてから、新橋～浜松町方向への道筋が主要道となったとみなされる。近世にも飯倉四ッ辻として浮世絵にも描かれている町並である。
【飯倉村】　この町域の町屋は、近世でも飯倉を冠して呼ばれていた。すなわち、飯倉一～三丁目、同六丁目、飯倉狸穴町、飯倉片町である。飯倉一丁目の『文政町方書上』によると、増上寺山内、芝切通を東に、西は六本木、永坂、南は新堀(古川)の荏原郡界、北は西久保我善坊谷までの一帯を飯倉村と唱えていたよしとある。
　天正十九年(一五九一)に、この飯倉村のうちの一部が芝の西応寺領となり、さらにその一部が寛文年間(一六六一～七三)と延宝三年(一六七五)に幕府用地として召しあげられ、六郷の久我原村に代地をえ、同六年には、また一部が用地となったため、三田古川に代地をえている。三田古川の代地は、年貢は三田として納めているが、今もって西久保八幡の氏子だともいっている。町屋の起源、丁目の分立の記録がないところが、かえってその起原の古さを思わせる。飯倉町一～五丁目は現在の桜田通りのほぼ両側にあり同町の六丁目は現二・三丁目に隣接して榎坂の両側にあった。六丁目はのちに加わった町屋だろうか。
　飯倉狸穴町は、一丁目一番の西北角と南西角にあり、飯倉片町は三丁目一番から六本木五丁目一八番におよんでいた。いずれも飯倉集落の一部として成立しているが、起原というべきものは伝えられていない。
【狸穴の由来】　西北角の飯倉狸穴町は、隣接武家屋敷の抱屋敷となっていたことがある。狸穴とは、動物マミ(アナグマ、雌ダヌキなどをいう)の穴があったという説が有力だが、採鉱坑の間歩(まぶ)がなまったという説もある。武家屋敷を含めたこの一帯の地名としても用いられた。
　飯倉片町は、古街道(現在の外苑東通り)に面し、片側町だったからという。
　その余の土地は、若干の寺社を除いて、近世にはすべて武家地となった。上屋敷をおいていた藩はまったくなく、三春藩が中屋敷、浜田藩、米沢藩など四藩が下屋敷をおき、その他は旗本の屋敷と御先手組与力同心の一括支給地であった(文久二年〔一八六二〕の状況)。
【寺社の開創】　神社には、養老年間(七一七～)芝浜に勧請後移転したとも、応永年間(一三九四～)ころ勧請したともいわれる熊野神社(二丁目一四番)があり、この縁起からみても飯倉が古い集落であることが察せられる。応永のころは関東に熊野信仰が普及した時代で、その史実を反映しているが、あるいは既存の海浜の祠(ほこら)が当時繁華な飯倉へ移され、熊野信仰の弘布とともに熊野と称されるようになったのかも知れない。
　寺院には、光蔵院(一丁目七番、開創は不詳だが、川崎大師の旅所とされる)、一乗寺(二丁目三番、承応二年〔一六五三〕開創)、真浄寺(二丁目三番、正保元年〔一六四四〕開創がある。寺院は近世以降に急増するので、それらの開創と集落の古さとは、あまり関係がないようである。
【我善坊】　明治二年(一八六九)にはまったく町の分合がなく、同五年に既存の各町に武家屋敷の土地を合わせ、ただ、麻布我善坊町だけが、旧武家地に新たに設けられている。我善坊という変わった町名の起原には二説がある。この地は、将軍秀忠夫人を六本木に葬送した経路に当たり、龕前堂(がんぜんどう)が設けられたそのなまりとも、座禅する出家がいて、その座禅坊のなまりだともいうが確かなことはわからない。我善坊谷(がぜんぼ谷、がぜぼ谷)という谷名があったのを町名に採用したのであった。
　戦前までは、今の桜田通りの両側が若干の商店街で、その他のところは大中小の邸宅が多かったが、しだいに貯金局庁舎(現国土庁)、ソビエト大使館(現在も)、中国公使館(現外務省史料館飯倉公館)、東京満鉄倶楽部(現アメリカンクラブ)などに変わり、麻布小学校もできた。ただ我善坊町はやや小規模の住宅のまま推移したらしい。
　三丁目三番あたりの古い洋館の和朗フラッ卜は、俗にスペイン村と呼ばれて、往年のモダンな洋風住宅を今に残している。
　戦後は都心化現象の影響が大きく、大小のビル化が進んでいる。既述の現存のビルのほかには、建設省中央官庁合同会議所、霊友会、ノアビル、麻布台ビルなどがあって、一種独特の町況を見せている。
　住居表示は一・二丁目が昭和四十九年(一九七四)一月一日、三丁目が昭和五十一年(一九七六)十月一日に実施された。