奈良・平安時代には、中国の律令制を模して、日本においても律令国家と呼ばれる中央集権国家体制がとられていた。
　この律令国家は、地方を治めるため五畿七道を設けた。東山道はこの七道のひとつである。「道」は行政区分を意味するほかに、この地方に施設された官道としての「道」の名称でもあった。この時代の「道」は、「大路」「中路」「小路」に分かれていた。東山道は中路にあたる。
　道としての東山道がいつごろ作られたのかは不明の部分が多いが、養老四年(七二〇)に編集された『日本書記』「景行記」で、日本武尊が蝦夷征討の帰りに、碓日坂(現在の碓氷峠)、信濃坂(現在の神坂峠)をとおり美濃に着いたこと、また同記景行天皇五五年二月の条に、彦狭島王が東山道一五国の都督に任命されたことなどが記されている。これらは四世紀代の大和朝廷内における説話や伝承等と考えられるが、この時期にすでに東山道が蝦夷征討に使用されていたことをうかがうことができる。東山道は東国と都を結ぶ官道(交通路)であった。