白旗城址は余瀬にある。丘陵端を占める山城で、東西と南は沃野が開けている。城郭は大関増清が応永年間（一三九四～一四二七）築いたといわれ、高増が天正四年（一五七六）に黒羽移城とともに廃されたところである。
　白旗古城図（創垂可継）によると本丸・二の丸（北城）等があり複郭山城型の城郭で、土塁・空濠などが完備した堅固な城砦であり、今もその面影を残している。本城山と呼ばれている本丸跡が、史跡として指定されているが、今は水田化している、北城の地続きで、その境は深い空濠で、土塁は高く、城東には今は畑の馬場跡が、南北に百メートル続いている。