『日本書紀』に「大宰府」の成立を示す記述はなく、その成立時期は特定できない。天智二年(六六三)の白村江の敗戦後、那津官家は朝鮮半島政策における重要拠点から一変して最も危険な場所になってしまう。そのため筑紫大宰の駐在所としての適性を失い、内陸部への後退移駐を余儀なくされる。新しい駐在地は特別史跡に指定されている大宰府政庁跡と考えられている。
大宰府政庁跡はこれまでの発掘調査で三期にわたる遺構が確認されている3。第Ⅰ期は掘立柱の建物によるもので、全体的な建物配置は部分発掘のために不明な点が多い。ただし、中門付近では、掘立柱建物だけで三回建て直しされていることが確認されている。第Ⅱ期(八世紀前葉造営)と第Ⅲ期(一〇世紀中葉造営)は礎石を用いたいわゆる朝堂院形式の建物配置で、東西一一〇・七メートル、南北二一一メートルの範囲に建物が整然と配置されており、まさに京における朝堂院の縮小版といえる。とくに第Ⅲ期の建物は焼土を整地した上に建てられている。その焼土は出土遺物から藤原純友の天慶四年(九四一)の大宰府放火と符節を合する。つまり藤原純友の天慶四年の大宰府放火の後に再建されたのが第Ⅲ期の遺構ということになる。
この大宰府政庁跡を取り囲むようにして築かれたのが水城や大野城などであり、移駐の時期は天智三年(六六四)から翌年頃と推定されている。この那津官家からの移駐をもって大宰府の成立とみなされることがあるが、選地に際してやがて成立する大宰府の所在地としての立地条件は考慮されたにしても、これは筑紫大宰とその管掌組織の移駐であり、官司としての大宰府を意味するものではない。
持統三年(六八九)、飛鳥浄御原令が施行される。『日本書紀』においてはこの頃から筑紫大宰の名が見えなくなり、それに代わって「大宰府」という官司名が見えるようになる。筑紫大宰とその管掌組織は飛鳥浄御原令に基づいて律令制的に再編され、「大宰府」として成立したことを意味する。なお、『日本書紀』持統三年条によると、石上麻呂と石川虫名が筑紫に遣わされ、筑紫の官人に位記を送り、同時に「新城」を監している。この「新城」に関してこれを水城・大野城・椽城ととらえないで「新設の大宰府都城」と解する説4とその説に従いつつ筑紫大宰とその管掌組織は飛鳥浄御原令に基づいた律令制的再編をうけ、その結果官司としての大宰府の成立となるが、その「新設ないし整備されつつある政庁の諸施設」を新城とする説5もある。考古学的には大宰府の発掘成果からみると第Ⅱ期の礎石をもった官衙遺構に該当すると考えられているが未だ不明な点が多い。今後の調査・研究に期するところである。