麻布台地の東端南辺の東流する古川に接して、ごく緩い傾斜地となっている。
【土器(かわらけ)】　三田の丘脈を伝ってきた古い街道は、この町域の東部で古川を渡ったと思われ、近世初頭には、今日の桜田通りである土器(かわらけ)坂がその道筋になっていたと考えられる。この道の両側に続くもとの飯倉四・五丁目が本町域の東部になるが、飯倉は古い地名で、中世の源頼朝の寄進状にみえており、降っては『小田原北条役帳』にもあって、集落の起原も古く豊かな土地であったものであろう(麻布台の項参照)。
　また、飯倉町の別名を土器町(かわらけまち)ともいったのは、明和・安永年間(一七六四～七二)のころまで土器を作る職人が多くいたための里俗地名であるが、古川南岸の渡辺綱(わたなべのつな)伝説に付会して綱がここで騜毛(かわらげ)(たてがみが黒い白馬またはその逆とも、瓦色すなわちうす茶色の馬ともいう)の名馬をえたためという説もあった。こうした古代の説話が生ずるのも、古い集落のためだとみることもできよう。西南端の赤羽橋は土器材料の赤埴(あかはに)(赤土)がなまったものともいう。
【永井町】　その赤羽橋にあった飯倉続芝永井町代地(一丁目一〇・一一番)と芝永井町代地(一丁目二六番東南部)は、もと増上寺の裏門(涅槃(ねはん)門の意か。そうであれば現芝公園三丁目一・五番間の北端あるいは同三丁目三番西北角で、赤羽門ならば同四丁目六番の南端)通りにあって、慶長三年(一五九八)増上寺来転のとき支給された町屋らしく永井三郎兵衛が名主役を勤めていてそれが町名(永井町)となった。その後一円を召しあげられて、金地院の元表門左右(芝公園三丁目五番のあたり)に移転、さらに正徳三年(一七一三)二回にわたって防火空地として町南部分がとりあげられ(この分の代地は神田)、片側になっていたが、天明六年(一七八六)類焼、翌年植木溜であったこの赤羽へ代地を受けて引き移り、また元地に残っていた町も文化八年(一八一一)類焼して前記の飯倉続きと溜池端に代地を受けた。増上寺の町として公役年貢はなく寺に銭を納め、古町として待遇されている。
　永井町代地の西に隣接する芝御霊屋(おたまや)御掃除屋敷代地は伊賀から家康に従った者が、寛永九年(一六三二)霊廟の掃除役になり、翌年岸町脇に屋敷を受け、一部は宝永六年(一七〇九)に筓橋に代地を受けたが、正徳三年(一七一三)にも用地となり金地院の西に代地を受け、その年に町人を置く許可をえて、延享三年(一七四六)町奉行支配、天明七年(一七八七)現地へ移ったものだった。
【森元町】　一丁目一五・一六番と同一七番の東半、同八番西部、二丁目一八～二〇番あたりにあった芝森元町は、元和以来下谷切手町(現町名不明)にあって、元禄十一年(一六九八)に類焼、寛永寺用地となり、芝の武家屋敷を受け、翌年町屋許可、増上寺の森の下の意味で芝森元町とした。
　飯倉狸穴(まみあな)町は、二ヵ所のうち南の現二丁目九・一〇番あたりのブロックがあったが、起原不詳で古い飯倉集落のひとつであったらしい(麻布台の項参照)。芝築地同朋町代地は類焼で防火用地となり、文化三年(一八〇六)に現三田一丁目三番に代地を受けたが、その後さらにその対岸にあった現二丁目三五番に代地を受けた。その西隣にあったのが芝南新門前町二丁目代地で、新堀端に増上寺住職が受けた土地の町家であり増上寺南の新しい門前町屋の意である。文化三年(一八〇六)類焼、新堀の南北両岸に代地を受けたときのその北側である。
【新網町】　麻布新網町二丁目は、元地の芝新網町(現浜松町)が宝永四年(一七〇七)に武家屋敷となり、同六年にその屋敷地が不用となったため、移転先の麻布本村の明地に一部の者が残留した。享保八年(一七二三)にまたまた一部が武家用地になったので麻布坂下町裏に移り、これを一丁目とし、残りを二丁目とした。この二丁目は他の拝領町屋と入りまじり土地も沼などで低湿であったため、同十七年(一七三二)にその一部が古川端へ移って元地が網代町と呼ばれるとともに、こちらを二丁目とした(現三丁目七番南辺とその南先路上のあたり)。麻布十番馬場町は、芝から享保十四年(一七二九)に移ってきた馬場の東端にできた町である(麻布十番の項参照)。
　飯倉的場屋敷は、寛永九年(一六三二)に弓術師が芝新馬場あたりで受けた的場地が移転して増上寺の赤羽門外にあって、貞享元年(一六八四)町屋許可、天明六年(一七八六)防火空地となって一丁目二三・二四番に移っていたものである。
【寺社門前】　寺社門前としては、赤羽円明院門前(寺および本社稲荷の起原不詳)は、芝丸山から移り飯倉五丁目南端にあったとき町屋許可、延享二年(一七四五)町奉行支配、天明六年増上寺火除地となり現一丁目二六・二七番に移転した。飯倉善長寺は、寛永十二年(一六三五)に西久保赤羽根町裏通り山際に開創されたが、同所が慶安元年(一六四八)に幕府用地となって現地へ移転した。その門前町屋の起原とそれが町奉行支配となった年代は、ともに不詳であるが、現一丁目七・八番の東側にあった。
　飯倉順了寺門前は、前述の善長寺とまったく同じ沿革をもち、現一丁目一二・一三番あたりにあった。
　武家屋敷は、幕末に大名屋敷として現二丁目に新庄藩戸田家上屋敷と丸亀藩京極家中屋敷があっただけで、ほかは幕臣の邸地、賄方や被官の一括給地、馬喰拝借地などであり、特異な存在としては幕末に現一丁目一二・一四番に外国人宿所が設けられていた。
【明治以降の移り変わり】　明治二年(一八六九)に現一丁目は芝森元町以外の全町屋が飯倉町五丁目に合併、現二丁目も森元町と狸穴町を除いて、芝新門前町となり、三丁目は三町屋が麻布新網町となって、同五年には各町に武家地・寺社地を合併、森元町は三丁目に、新網町は二丁目(ただし一丁目の一部のみが町域)になり、新たに飯倉町四丁目になったところもある。その後、芝新門前町は明治十一年に芝区に属したが、同十三年には古川を境にして芝区と麻布区に分属して、現町域である麻布区のほうは北新門前町と改称した。
　古川端は事業所・住宅の入り混じった町域となり、しだいに住宅は減少しているが、その半面でビル化し、マンションもできている。事業所も日用品商店から小工場事務所などへの移り変わりは、ひとつの都心化現象といえるであろう。