坂東地方は、大和朝廷に服属して以来、舎人部の設置に示されているように朝廷の重要な軍事的基盤となっていた。この天皇親衛軍供給地としての性格は、奈良時代以降も一層強化され、坂東人は「額に箭は立つとも背に箭は立てじ」とその勇猛ぶりを讃えられ、また坂東の自然と風土は住民に尚武の気風を培っていた。このため坂東の豪族は時の政権の軍事的走狗として、律令政権をめぐる抗争の嵐に絶えず捲き込まれていた。たとえば、天平宝字八年（七六四）恵美押勝（藤原仲麻呂）が、ライバル道鏡禅師のために孝謙上皇の寵愛を失ない、自暴自棄とも思える叛乱を起した時、武蔵国からも丈部不破麻呂や物部直広成等が、押勝鎮定軍に従っていた。広成は授刀衛（近衛兵）として越前に赴こうとしていた押勝軍を愛発関（あらちのせき）で防衛して押勝敗北の原因を作り、不破麻呂も地方豪族として日頃蓄えていた私兵を率い、押勝鎮定に活躍した。
当時、在地豪族の勢力拡大策には、律令末端機構の郡司となって在地に勢力を振うか、あるいは何らかの縁で中央政府に近づき、中下級官人となって勢力を扶植するかの、二つの方法しかなかった。両者は坂東人らしく、不破麻呂は近衛員外少将、左衛士員外佐、広成は授刀衛から蝦夷征討軍の軍監、征東副将軍を歴任し、ともに武官として朝廷に仕えたのである。
丈部直不破麻呂は、武蔵国造の後裔で越谷に近い足立郡郡家郷（大宮市）に本拠を置き、入間川下流の低湿地帯を生産基盤として足立郡司を務める傍ら、名神大社氷川神社を奉祭した伝統的豪族であった（『西角井家系図』）。不破麻呂は娘家刀自を采女として貢進し、その縁で孝謙女帝と強い関係をもち、押勝鎮圧軍の徴募にいち早く応じたのも、そうした事情によるものであった。天平宝字八年、その軍功により外従五位下を授与され、その三年後の神護景雲元年（七六七）には、外位の身でありながら近衛員外少将と兼任で下総員外介に任命され、同三年には親王任国として格の高い上総員外介に転じ、併せて内位の従五位上に栄進した。宝亀四年（七七三）には左衛士員外佐となり、奈良佐保川堤の修築に従うなど終始中央政府との交渉が強く、出自を重んじた当時の官界で辺境出身の地方豪族としてはまことに異例の出世ぶりであった。
しかし、かような不破麻呂の台頭は、単に娘が采女として天皇の寵を得ていたという個人的関係だけでなく、大仏造立を契機として次第に深刻化した政情不安のもとで朝廷の対地方豪族の姿勢とも大きくかかわっていた。
すでに奈良中期以降、豪族層の成長によって地方の権力構造に変化を来し、郡司職をめぐって熾烈な戦いが展開されていたことは前に述べたが、その克服策として在地豪族に官位と氏姓の賜与を行った。丈部氏も神護景雲元年、不破麻呂が下総員外介になった四ヵ月後、一族六人が由緒ある武蔵宿禰の姓を賜わり、さらに不破麻呂は武蔵国造に任ぜられた。ただし、この国造職は大化前代の国造と異なり、単に祖神の祭祀権をもつだけで、名門家としての公認に意味があった。以後、丈部氏は姓を武蔵と改め、名実ともに譜代の名家として在地に卓抜たる勢力を振うようになったのである。
物部直広成は、直姓を帯びていたことから軍事を掌る部民の物部氏を率いていた族長であったことがわかる。彼は不破麻呂同様、祖神である物部天神社（式内社、所沢市北野）を奉祭し、入間郡一帯に勢力を振っていた。聖徳太子の頃、祖先と思われる物部連兄麻呂が武蔵国造となっているので、広成もまた武蔵国造の子孫だったといえる。早くから都に上ったらしく、恵美押勝鎮圧軍で活躍したことは前述のとおりである。こうした武功により神護景雲二年、一族六人とともに入間宿禰の姓を賜わり、その後は武略をかわれて蝦夷征討に従事、天応元年（七八一）には外従五位下を授与された。
やがて桓武天皇が即位すると、平安遷都、政治の刷新と並んで、宝亀五年（七七四）以来激化してきた蝦夷征討が三大改革事業の一つに挙げられると、広成の活躍舞台は大きく開けてくるのである。まず延暦元年（七八二）万葉の武人大伴家持が陸奥按察使兼鎮守府将軍に任命されると、広成は介（次官）に任ぜられ、同三年には軍監となった。延暦八年、紀古佐美が征東大将軍となって大規模な討伐作戦が開始された時には、広成は副将軍として従軍したが、北上川の戦いで大敗し太政官の勘問を受けた。しかし長年にわたる東征の功により罰せられることもなく、翌年従五位下に叙され常陸介となった。この後は文官に終始し、同十八年には造東大寺次官となっている。広成を蝦夷征討に挙用した朝廷の意図は、本人の武略はもとより、東北の地理に通じていたことと、坂東諸国からの武器・食糧の徴発を容易にし、あわせて坂東出身の軍兵の統率に当たらせる点にあったことを見落せない。
ところで、武蔵国造家の勢力を支えた武蔵宿禰家刀自とはどんな人物であったろうか。彼女は足立郡司丈部直不破麻呂の娘として、采女に貢進され、宝亀元年までは卑姓の出として外従五位下に叙されていたが、この年内位に移り、延暦二年（七八三）には父親の官位を越えて正五位下、二年後には正五位上、その翌年には従四位下に昇叙している。当時の選叙令の常識を大幅に越えたこのスピード出世ぶりは、卑姓出身の女を母にもつ桓武天皇の斬新なる人材登用策によるものであった。
本来、采女は大化前代に地方豪族を征服した大和朝廷が、豪族の服従の印しとしてその娘を貢進させたもので、いわば人質としての性格をもっていた。これが大化改新後にも継承され、後宮職員令の規定では、郡司の子女から容姿端麗なものが選ばれる定めになっていた。それもどの郡司家からというのでなく、一国を三分してその二は親衛隊である兵衛を、一は采女を出したのである。
当初は、出身が出身だけに立身出世を望むべくもなかったが、職掌上天皇に近侍したため次第に勢力を拡大してきた。奈良時代も後半になると後宮の女官として立身出世する者も現われ、その代表例が家刀自であった。彼女は父や一族とともに武蔵宿禰の姓を賜わり、遂には従四位下の高位をきわめるまでにいたった。しかし、采女出身であるため女官の職掌は官位に相当せず、天皇の後宮秘書官である内侍司の三等官の掌侍（かにもりのじょう）と、天皇の寝具の整備や掃除をつかさどる掃司の二等官の典掃（かにもりのすけ）に止まった。しかし絶えず天皇に近侍し、掃司では副女官長の地位にあったから、郷里の実家もそれを見逃すわけがなく、前述のように家刀自を通じて天皇家と密接な関係を維持し、自己の政治的地位の向上と位階の昇進、富の拡大に努めたと思われる。
このため、延暦六年（七八七）家刀自が卒去すると武蔵氏の中央における勢力は急速に衰退し、弟の弟総が翌年貢献の故をもって外従五位下に叙され、やがて父姉同様武蔵国造となったことを伝える『類聚国史』の記事を最後に、武蔵氏の動きは中央史料から全く姿を消してしまう。
武蔵一の宮氷川神社の旧神主家、西角井家に古くからの系図一巻が伝来されている。これは世に「武蔵国造系図」と呼ばれるもので、出雲神話の祖、天穂日命から无邪志国造兄多毛比命……不破麻呂・弟総を経て武芝に至っている。またこの系図では、不破麻呂の祖父道足から古麿・不破麻呂に至る三代が同時代の大伴系図と合致し、また丈部は「大部」とも書いて「オオトモ」と読めるという説もあって、不破麻呂以前の部分は大伴系図等を基にし偽作したといわれている。しかし、不破麻呂以降の部分はおおむね承認できるといわれ、系図によると不破麻呂以後は、弟総（郡司大領従五位下）―武総（郡司大領外従五位下）―国雄（同少領正八位上）―武沢（郡司擬大領）―武成（郡司大領正六位上）―武芝（郡司判官代外従五位下）と続き、歴代足立郡司を務めていたとある。この武芝が後述の平将門の乱に登場してくる武蔵武芝である。