一五六九（永禄十二）年、甲斐の武田信玄が、武田勝頼を大将として滝山城に攻（せ）めてきました。しかし、堅く守って、追いかえしました。勝頼は、本来の目的地である小田原攻撃へ移っていきました。
　戦後、氏照は、武田勢が小仏峠を越（こ）えて侵攻してきたことを重視し、城を八王子に移しました。城を移す時、氏照は「滝は落つるということがあり、縁起が悪い」と言ったという話が残っています。