現在の赤坂五丁目、戦前に近衛歩兵第三連隊の兵営が設置されていた赤坂氷川神社の西北側の台地で、江戸時代浅野藩中屋敷のあった場所であるが、そのころから今井四郎兼平を築城者とする城の伝承がある。また、今井兼平以外に、斎藤別当実盛、帯刀先生（たてわきせんじょう）源義賢等の城だったとする所伝もあるが、いずれも史料がなく伝説の域を出ないものとされている。標高二八メートルで、三〇〇×二〇〇メートルの範囲で、「小田原衆所領役帳」によれば、後北条氏の被官太田新六郎・渡辺丹後がこのあたりの江戸今井を給地にしているので、いずれかの館跡の可能性が高いと思われる。江戸時代後期の「文政町方書上（ぶんせいまちかたかきあげ）」には、現在の虎ノ門から溜池・西久保・六本木付近に及ぶ今井町にあったと記されている。