江戸時代に土岐山城守の藩邸があった場所で、城山と呼ばれていた。江戸時代の『江戸砂子（すなご）』に記される伝承では、西久保城山町（現在の虎ノ門五丁目）から麻布市兵衛町（現在の麻布台一丁目）あたりまでの高台に、熊谷直実（一一 四一～一二〇八）の城があったとするが、まったく史料的根拠はない。また、現状では城郭遺構としての土塁などは残存していない。麻布殿という武士の出丸（でまる）だったという伝承もあるが、江戸氏庶流の館跡ではないかという説もある。遺構が確認できないので規模も不明である。