地方においては新興階級としての武士層の実力が強化されつつあったのに対し、都においては、藤原氏の栄華も、道長とその子頼通の二代を頂点としてしだいに衰えを見せはじめ、やがて摂関家とは外戚関係のない後三条天皇が即位すると、新政による政体の改革が一時的にではあるが断行された。これがやがて天皇親政政治の行なわれるきっかけとなり、摂関政治が名実ともにその機能を失うと、白河上皇による院政が一一世紀末期に成立するに致るのである。そして、このような中央貴族の無力化に乗じて、武士団はますます中央へ進出し、着々と地歩を固めていった。
　東国では、平安中期以来、高望王を祖とする桓武平氏が勢力を伸長し地盤を発展させていたが、そうしたときに、将門の乱（九三九年）が起こった。平良将の子将門は、父の遺領をめぐって一族と紛争を起こし、叔父の国香を殺害した。やがて将門は自らを新皇と称して王城を営み、独立の国家建設を企てたが、同族の平貞盛（伊勢平氏の祖）と藤原秀郷（奥州藤原氏の祖）の連合軍によって討伐され、下総の猿島で敗死した。この反乱は、律令国家始まって以来の最大のもので、まさに律令制下における地方行政の乱れを示すものであるといえよう。

将門の勢力図
（竹内理三氏による）

　この将門の乱後、関東各地では、抬頭してきた豪族武士団が闘争をくりかえし、弱小の武士団はより強力な武士団に支配吸収され、組織されていった。なかでも、上総・下総に大勢力を築いていた平忠常は、長元元（一〇二八）年に安房に侵入して国守を殺害し、いわゆる平忠常の乱をひき起こした。これに対して朝廷は、はじめ平直方を追討使に任じて討たせたが失敗し、ついで源頼信を派遣したところ、忠常は戦わずして降伏した。頼信はこの乱の鎮定者として一躍武名をあげ、以後、東国は、清和源氏の強固な地盤となり、平氏にかわって源氏の勢力が抬頭するところとなった。