麻布丘陵が東へ伸びたその南側斜面の一部である。狸穴の由来は動物マミ（アナグマ、雌タヌキなどを指す）の穴があったという説が有力だが、採鉱坑の間歩（まぶ）がなまったという説もある。近世には武家地として用いられ、幕末はやや小身の幕臣邸地となった。
明治五年（一八七二）の武家地への町名普及の一環で飯倉狸穴町のうちとなり、同四四年には飯倉の冠称が取られた。典型的な住宅地として続き、関東大震災の被害は免れたが、現町域のかなりの部分が戦災によって傷むこととなった。町域の西部は昭和四九年（一九七四）に麻布台二丁目となったが、残部は住居表示が実施されず現在に至っている。なお、住居表示が未実施なのは、この町域と麻布永坂町のみである。