港区内で古代末期に遡る古い地名として、「飯倉」がある。『吾妻鏡』元暦元年（一一八四）五月三日条に、
　
　　寄進　伊勢皇太神宮御厨（みくりや）壱処
　　　　在武蔵国飯倉
　　右志者、奉為　朝家安穏、為成就私願、殊抽忠丹、寄進状如件。
　　　　寿永三年五月三日
　　　　　　　　　　　　　　　　　　　　　正四位下前右兵衛佐（さきのうひょうえのすけ）源朝臣
とあり、また『神鳳鈔（じんぽうしょう）』には、写本によってやや記載法が異なるが、荒木田氏経本によれば、
　　武蔵国　飯倉御厨当時四貫文
　　（中略）
　　　　　　内宮長日御幣
　　　　　　飯倉御厨［五十／町］
　
とあって、「飯倉御厨」が、源頼朝が伊勢内宮（ないくう）領として寄進した一連の御厨のうちに連なっている。
　この飯倉の地名が、現在の港区内の交差点名や公園・保育園などの名に残る飯倉の起源であるとされる。その地名がさらにどこまで遡るかは難しい問題であるが、寛弘二年（一〇〇五）九月十六日に伊勢内外両宮を勧請（かんじょう）して創建されたという芝大神宮（芝大門一丁目）を、別に飯倉神明とも称している（『江戸砂子（すなご）』芝神明宮、『御府内備考続編』芝神明宮など）とあるので、さらに一一世紀初めまで遡ることになるが、近世の地誌類や社伝の常として、これをただちに根拠とすることは困難である。