芝神谷町（現在の虎ノ門五丁目）には、文明年間に太田道灌によって築城された別名番神山城（ばんじんやまじょう）とも呼ばれる平山城があったという。江戸時代に出石藩仙石家藩邸があった場所である。江戸時代から土取場（つちとりば）として掘り崩されていたが、明治時代までは土塁などが明瞭に残っていたという。標高二〇メートル、二〇〇×一〇〇メートルの規模で、江戸城の南を固める拠点として築かれたのであろう。