寺趾は、国府の所在地であった府中から北に約二キロ、中央線国分寺駅の西南約二キロのところにあり、東西にのびる武蔵野段丘の南縁からすそ地にかけてひろがる、湧水に恵まれた景勝の地に建てられた。推測寺域は東西約八町、南北約五町半に及ぶ広大な範囲と考えられているが、諸国国分寺の二町四方とくらべると、武蔵国分寺の規模の大きさを示す数値である。また、このような広大かつ平坦な土地を寺地にあてたということの背景には、新興勢力としての武蔵国の立場があったものと思われる。すなわち、東海・東山両主要道の中間に武蔵国が設定され、その国府が、いまの府中市付近の多摩川流域に置かれたことは、この地の開拓がある程度進んでおり、さらに発展すると予想されたのであろう。帰化人が関東各地のなかでもとりわけ武蔵に配置されたことからも、この地の開発の進むさまをうかがい知ることができる。
伽藍配置は、東大寺とほぼ等しい様式で、金堂を中心とする南北中軸線上に南門・中門・金堂・講堂が並び、さらに、北に北院、東に七重塔を配している。また講堂趾の東西両側には、僧坊と思われる遺構が、礎石や掘り形などから確認されている。
武蔵国分寺伽藍配置図
（滝口宏氏による）
昭和三一年に日本考古学協会によって行なわれた発掘調査によると、金堂の基壇は、間口一五二尺（一尺は一メートルの三三分の一〇）、奥行八五尺、金堂の建物は、間口一一九尺、奥行五五尺ほどで、全国一の規模を有するものであることがわかった。そのうえ、基礎工事も丹念に行なわれ、礎石面から八尺五寸の深さまで掘り下げ、ここに赤土と黒土を交互に敷きかため、さらに礎石の下には、石と土とを交互に五層も重ねて六尺の厚さにしあげている。
講堂は間口九五尺（註一）、奥行五五尺、また七重塔は三三尺四方という雄大な塔であったと想像される。この塔趾は、発掘の結果から、創建時のものが焼失したあと粘土と焼けおちた瓦で基壇を補修して再建し、それがふたたび焼失したもの（註二）であることが明らかにされた。承和二（八三五）年神火（落雷）のために焼けた塔を、男衾郡大領外従八位下の壬生吉志福正（みぶのきしふくまさ）という人が再建したいと同十二年に願い出て許されたという『続日本後紀』の記事と、この発掘結果とは一致するものである。
国分尼寺趾は、僧寺の中門趾から西方約四〇〇メートルほど離れた黒鐘（くろがね）の地にある。しかし、この地もすでに宅地化されて家が密集し、調査も不可能な状態となり、わずかに金堂趾と尼坊趾のみが確認されている。金堂趾は間口六〇尺、奥行四〇尺、尼坊趾は切妻造りの建物で間口一一八尺、奥行三〇尺であったと推測されている。
かくして武蔵国分寺は、屋根に葺（ふ）かれる大量の瓦を全郡からの寄進によるなど、武蔵の国をあげての大事業によって、このような大規模な伽藍をもって建立され、その雄大な姿は、多くの人びとをして驚歎せしめていたであろうと思われる。