白旗城は白旗山（黒羽町大字余瀬の西側に横たわる丘陵）に築かれたのでこの名称がある。更に白旗山の名称の由来は、鎮守加茂神社の社伝およびその他の古記録によれば、次のようである。
　余瀬の昔は、東山道（関街道・秀衡街道とも称せられた）の要衝の地、粟野宿（あわのがしゅく）である。その名称の示すとおり、はやくより開田されて農産物豊かな土地であった。『和名類聚鈔』に記録されている那須郡十二郷の一つである「那須郷」の位置については、諸説はあるが『那須郡誌』が提示した、黒羽町の川西地区および隣接する大田原市の金田地区の一部を含む地域とするのが、妥当であろう。その位置を求めるとすれば、東山道の通過する沿線（金丸－余瀬－蜂巣－桧木沢－寒井－稲沢）の地が至当と思われる。とにかく十世紀ごろには、この地方はかなり開発が進んでいたわけである。
　源頼義の奥州征討（前九年の役＝一〇五一）の際、東山道を下向の途次、粟野駅において軍兵を募り、兵糧を集めた。そうして西の丘に登り、白旗を飜（ひるが）えして軍揃いをなし、大いに気勢を挙げたという。以後この丘を白旗山と称し、粟野宿の西側を白旗村といい、東側を寄勢村（軍兵を寄せ集めたの意、与世、余世とも書き、後に余瀬となる）とよぶようになった。義家が後三年の役（一〇八三）に奥州下向の際にも粟野駅に立寄り、白旗山において勢揃いをなし、加茂神社に戦勝を祈願した。その後治承四年（一一八〇）に源義経が、兄頼朝の陣に馳せ参ずる途次、祖先頼義の故事を偲び、白旗山上に白旗を飜し、高館城主那須太郎資隆の子息、十郎為隆および余一宗隆と主従の契を結んだ。記念の塚は義経塚と称せられ現に残っている。
　東余瀬（道場坪）の新善光寺跡から、正安元年（一二九九）十月の刻字ある板碑が出土した。この新善光寺は、正応・永仁（一二八八～一二九八）の頃創建されたという。また修験大正院は、治承四年（一一八〇）の頃の創建であり、修験光明寺は、もと既成山光明寺と称し、余一宗隆によって文治二年（一一八六）に建立された。
　これらの記録からみると、粟野宿は、十二世紀末から十三世紀初めの頃には、既に栄えていた宿駅であったということができる。
　さて、前述の大関家清が薩多山合戦に奮闘し、その賞として足利尊氏から片袖の感状と松野・大桶の二邑を与えられたのであったが、松野・大桶近辺には、公領・荘園が散在していて、大関氏私領の拡大には限界があったと思われる。そこで七代上総介増清が、その勢力拡大の地として、那須郷の粟野駅地区を選んだわけである。
　粟野駅は、関街道の要衝であり、附近農産物豊かな地であった。そうして白旗山は源氏ゆかりの場所。乱世に武を張るにはまことに適地であった。大関増清は応永十年（一四〇三）の頃に、白旗山に山城を築いて、松野より移り住んだ。『那須郡誌』は白旗城を次のように記している。
　「白旗城は北に稲荷山を負い、東に大清水流れ、南に田圃開け（地名に余瀬に田中、南金丸に田中坪あり）西に大道通じ（金丸の古町は、白旗城よりの向宿に当り、元は東方の水田中に人家密集していたという）所謂四神相応の地相（左に流水あるを青竜、右に長道あるを白虎、前に汚池あるを朱雀、後に丘陵あるを玄武と称す。京都はこの地相を有す）を占め、本城および北城の二廓は空壕をうがちて土壕を廻らし、本城の南には空壕を隔てて一廓ある。西方の城崖中腹の平地は、馬場および鐘撞堂の址を存し、北城の東北方には鬼門除けに大雄寺を建立した址ありて、規模頗る雄大である。また城址の東方平地には、当時の重臣の邸地と思われる深壕を方形に周らした地形がある。そして余瀬の地は、関街道の要衝として、盛時には大雄寺を始めとして帰一寺・新善光寺・常念寺・光明寺・東光庵（尼寺）および修験道の大正院・三蔵院あり、戸数三百十四戸、市場を設けて頗る殷賑を極めた」
　白旗城は増清が築いてから、広増・増信・忠増・増雄に伝え（この間約六十年）、増雄の時黒羽城（石上（いそのかみ）の台）に移り、次代宗増、黒羽城より堅〈片〉田の山田城（金丸氏《亀山の金丸氏居館》と共に、近くにある那須氏の亀城を護る。この時嫡子増次は白旗城を居城としていたから、山田城は白旗城の出城と考えられる）に移り、次代増次（二十五歳、石井沢にて討死）白旗城に戻り、安磧高増の代に至って、天正四年（一五七六）新に黒羽城を築いて移ったのである。したがって前後合わせて約八十年間は、白旗城は大関氏の勢力拡大の根拠地であり、粟野宿（白旗村・余瀬村）はその城下町として殷賑を極めたわけである。現に当時の遺跡や記録を存し、それにまつわる史話・民話が伝えられている。特に十代忠増は文安五年（一四四八）八月十七日、余瀬粟野崎に大雄寺を再建した。現在その跡地（山林）が歴然としている。因に大雄寺はその由来記によれば、応永十一年（一四〇四）、臨済宗天目中峰派四世孫劫外久和尚が創建し、粟山大雄寺と称した。粟山の号は、地名粟野崎（あわのざき）から採ったのである。
　ところが、同三十三年（一四二六）、福原城主那須資之が、弟の沢村城主那須資重と不和を生じて戦った時、兵火に罹って悉く焼失した（『那須郡誌』）とある。これによれば大関右衛門尉増信の居城である白旗城も、那須資重方の軍勢による攻撃を受けたことになる。
　『那須記』には、大関増信は、大田原氏・堅田氏・芦野氏・伊王野氏・稲沢氏・川田氏・佐久山氏等と共に、那須資之（上の庄）の配下にあって、資重の沢村城攻略戦に参陣して、大いに奮戦したことを伝えている。但し沢城攻略戦は応永二十一年（一四一四）八月二日であるので、年代が合わない。
　これより後、幕府方と鎌倉府方とが不和となり、永享元年（一四二九）八月上旬、黒羽城に拠った幕府方（那須氏資・結城氏朝等）は、那須資之たち鎌倉府（足利持氏）方の軍の攻撃を受け、黒羽城は落城と記されている。（『資之書状』および『持氏書状』）戦乱に巻き込まれた大関氏もこの時白旗城を攻められ、大雄寺焼失となったか、あるいはそれ以前の攻防戦に兵火に罹ったか、その点明らかではない。
　続いて同二年（一四三〇）には、鎌倉府方は那須城（福原城）を攻略している。こうしてみると、幕府方と鎌倉府方との攻防や、上那須と下那須の抗争の間に挾み込まれた大関氏も、その居城白旗城の攻撃を、幾度か被ったであろうことは首肯できるのである。