華光院跡を後にして少し行き、木立の茂る堀添の露地を入って行くと伝説に残る向畑の陣屋跡である。もとは山林に覆われた小高い丘をなしていたが、昭和のはじめ丘は崩されてすべて畑地にならされ当時の面影を偲ぶ術（すべ）はないが、陣屋の構え堀の一部と伝える小さな排水溝がわずかにその名残りを止めている。
この向畑の陣屋に関しては、大松清浄院蔵嘉永四年(一八五一)の写本「六ヶ村栄広山由緒著聞書」によると、その昔新方庄の領主新方氏は、古くから向畑に城砦を設けて当地域を支配していたが、文亀四年(一五〇四)武州崎西郡八条(現八潮市)の領主八条兵衛尉の浸攻をうけ、防戦にあたった当時の向畑城主新方次郎頼希は小林の郷で討死した。このとき八条勢は頼希の実兄大松清浄院の文誉上人(本文では高賢上人)を襲ったが、上人は難を逃れて武州崎西郡渋江郷渋江寺(現岩槻市)に落ちのびた。
その後永正十二年(一五一五)軍備を整えた上人は兵を挙げ、当時八条氏配下の武将別府三郎左衛門がたてこもる向畑城を攻略、次いで別府の地で八条軍と決戦し、八条軍を破って旧領を取り戻した。当時関東に進出していた小田原北条氏は、文誉上人が武力でとり戻した新方氏の所領を認め、氏康・氏政・氏直いずれも清浄院に対し新方庄のうち六ヵ村所領安堵の黒印状を与えていた。やがて天正十八年(一五九〇)小田原北条氏は豊臣秀吉の関東攻略によって滅ぼされたが、秀吉も大松清浄院に対しては、その古来からの由緒に感じて新方庄六ヵ村の所領を安堵したという。
こうして向畑の城砦は文誉上人の代より清浄院に移されたが、土地の人びとはその後向畑の陣屋跡に祠堂を建て、新方庄の旧領を回復させた上人の尊像画を新方（しんぽ）様と称して永い間これを祀ってきた、と伝える。ただし以上の旨をしたためた著聞書のはしがきには、八条軍と戦って旧領を取り戻した僧を文誉上人と記しているが、本文には高賢上人と記されている。ちなみに元禄八年(一六九五)の「清浄院開山并由緒」の書上げによると、清浄院歴代僧のなかには高賢上人の名はみあたらない。しかしこれを文誉上人とみると、文誉上人は清浄院中興の祖、開山より十代「真蓮社文誉栄宗公林窓上人」にあたるとみられる。これには「姓氏生処刺髪師匠相知レ不申候」とあり元亀二年(一五七一)八〇歳の没年となっているので年代的には不審はないが、その真偽のほどは不明である。
このほか向畑の陣屋に関しては、文化末年の著『大沢猫の爪』によると、「向畑村陣屋耕地ニ新方三郎と云フ者有之(中略)、新方三郎及郎党十七軒有之処、十二月廿三日雪中餅搗之夜、小田原勢責（攻）寄被相亡、依之新方殿ハ降参法師武者ニ成寺ニ入隠蟄致候、郎党十七軒之ものハ皆〻百姓ニ相成申候、依之年内ハ餅搗不申若餅のみをつき申候事」とある。これによると新方氏は一七軒の郎党をしたがえて向畑に陣屋を構えていたが、年の暮れの餅つきの夜小田原北条氏に攻められて降参、新方氏は法師武者になって寺に入り、郎党はいずれも百姓になった。このため向畑では年内には餅をつかず、正月になって若餅をつく慣例である、といっている。その他天保年間の著『大沢町古馬筥（こばばこ）』にも向畑陣屋の故事が記されており、向畑陣屋の伝説はかなり根強いものであったようである。
