この東国の防人は、天平九年(七三七)に廃止され、代わって北九州の者をもって壱岐・対島を守らせたことが『続紀』にみえる。彼ら東国人は翌年、数班にわかれて故郷に帰ったらしい。そのことは正倉院に現存する天平十年(七三八)の筑後・周防・駿河の正税帳に、これら諸国を防人が通過したことが記載されていて、約二千人の帰郷が察せられるからである。遠江国に帰った者が何人であったかはわからないが、おそらく百人くらいではあるまいか。
この時の東国防人の廃止は、そのころ続いた不作・疫病などのために、これらの労働力を故郷に戻すことを得策としたためであろうと思われるが、この後、多分天平末年ごろにはまた復活したのであろう。『万葉集』巻二十に収められた防人歌の作者たちは、天平勝宝七歳(七五五)に、交替要員として九州へ向かう防人たちであった。
天平十年 駿河国正税帳 防人帰郷の記事(正倉院文書)
【国造人 主帳丁】これらの防人歌については第六章にまた触れるから、ここに一々あげることは避けるが、ただ、これら東国の防人たちの中には、国造丁(こくぞうてい)とか、助丁(じょてい)・主帳丁(しゅちょうてい)などと記されている者がある。これらの意味については、国造や、郡司である主帳の手で出された壮丁というような解釈もあるが、近年、国造丁というのは、一国から集められた防人の先任者ないし指揮者のような立場の者で、助丁はその副、主帳丁は同じくその集団の書記役であろうという説が有力視されている。そして、このような兵士集団の長として国造丁というような名称が用いられているのは、旧来の国造軍のような伝統が、実際にはかなり強く後まで残されていたことを物語るものであろうと説かれているのである。