荘園の拡大にともない、荘園相互、あるいは荘園と国府とのあいだには、権益をめぐってしきりに争いが起こるようになった。このため、荘園では名主や荘官が中心となって武装し、一方、国府在庁官人や郡司などの地方豪族らも、荘園や国司の官兵と対抗すべく、自ら武装しはじめた。そして国司もまた、支配権を守るために武装した郎従を擁するようになり、ここに、いわゆる武士階級ないし武士団としての私的武力集団が、全国的に発生した。
　この武士層は、同族団を中心として、それぞれの郎従・下人、さらに隷従農民を武装化した小集団であったが、しだいに近隣の武士層と接触・連繋しながら荘園という枠をこえて勢力を統合していった。その間に、土地を媒介として主従関係を成立させることにより、また中央政府の無力化を背景として、武士団はますます組織化・強大化され、それらはとくに東国において著しく発達した。
　こうした武士団の支配力は、一郡から数郡、ときには一国に及ぶ規模を有したとも言われる。大武士団は党と称され、党ごとに旗を立てて頭（かしら）を擁し、これを旗頭と称した。この旗頭は、一党の嫡流として一族を統率していたので惣領と呼ばれ、彼らの多くは、名主・田堵と称された名田所有の地主や、私営田領主であった。そして、古くから在地に自生した土着豪族層出身のものばかりでなく、都から流れてきた中小貴族で地方に土着し豪族化したものや、または門閥を利用して地方豪族と結合し、地方の武士を配下に率いて豪族化したりしたものが、武士層を構成していたのである。
　武蔵国においてその例をあげると嵯峨天皇の皇子でありながら、源姓を賜って臣家に降籍した左大臣源融の孫、大納言昇の子仕は、武蔵守として坂東に下向し、任期が満了しても武蔵国にとどまって、ついに足立郡箕田郷に土着して箕田氏を称した。また、桓武天皇の皇孫、高望王は平姓を賜わり、また裔孫、平良文は武蔵守として赴任し、大里郡村岡の地を開いて土着し、村岡五郎と称したが、その子孫は、のちに坂東八平氏として名高い東国武士団を形成した。これらの二例は、都から来た貴族が土着豪族化して地方武士団を形成する、もっとも早いころのものである。