天正四年（一五七六）大関安碩高増は、その居城を余瀬白旗城から黒羽城に移すに当り、帰一寺を黒羽城の東側に移させ、寺領五十石を寄進して、大関氏の祈願所（現在白旗不動尊のある場所）とした。『創垂可継』年中行事の正月四日の記には、
一、表御書院御出席、帰一寺（延寿院、宝寿院、吉祥院、一乗院、寿命院、威徳院、福寿院、明王寺、不動院、雲光寺、蓮徳寺）大雄寺（長渓寺、金秀寺、正法寺、新善光寺心印庵、善行院）御礼の為め詰め、御家老列座、御中老、御用人大目付出席、寺社役披露。（以下略）
これをみると、藩主は当寺を大雄寺、光厳寺とともに崇敬していた。そうして小本格寺で、末寺が十一寺あり法燈が輝いた。明治維新前、火災で寺院悉く焼失したが、さいわい本尊不動尊は災厄を免れ、大正九年新たに御堂を建て、白旗不動尊（黒羽町指定文化財）と崇め、大雄寺が仕守している。
帰一寺焼失後、寺僧は還俗して旗山氏と称し、やがて他地に移住し、当寺は廃寺となった。墓地は黒羽町大字堀之内、「石の上（いそのかみ）」台の下方にある。