西宗綱の子直季は平山八郎と称して、南多摩郡平山に居住し、平山氏の祖となる。平山氏は西党の中でも武蔵野武士の猛勇といわれ、その中でも直季の子季重は、平山武者所と称し、源義朝に従いさらに頼朝に従って、宇治川の先陣や一の谷の先駆けで勇名をはせ、文治五（一一八九）年奥州藤原攻めに際しても活躍している。建久三（一一九二）年八月、頼朝の第二子実朝誕生に際して、季重はとくに選ばれて鳴弦の大役を勤めている。また建久六（一一九五）年三月、頼朝上洛の随兵のうちにも加わっている。
　ところで、平山氏の館址については『新編武蔵風土記稿』に、平山村の旧跡のところで「館蹟　浅川の北岸なる丘によりてあり、何人の館跡なるや定かならざれど、土人は平山武者所季重が住居の跡なるよしいへり、此辺にてしばしば古瓦を堀出せり、」と記されているが、今日その館址は明瞭には分からない。ただ平山氏は、平山（この地は古くから舟木田荘・高倉荘といわれた）に居館を構え、そこを中心に周辺の地に強い勢力をもっており、さらには秋川流域にも勢力をのばしていたことが『大悲願寺旧記』や『新編武蔵風土記稿』などによって推察できる。なお現在、平山城址公園北側の宗印寺に、平山季重の墓と伝えられる五輪塔や日奉地蔵堂などが存する。しかしこれらはかつて大福寺（平山館内）にあったが、明治初年の廃仏毀釈で当寺が廃寺になったため宗印寺に移されたのであるという。