政府は明治九年に、東海道線よりも先に中山道(なかせんどう)鉄道の開設を計画した。いっぽう、信越鉄道会社が、明治十四年に設立の準備にかかった。長野中牛馬(ちゅうぎゅうば)会社の中沢与左衛門らが発起人で、資本金四〇〇万円で直江津(なおえつ)―高崎間の鉄道をつくろうと計画した。しかし政府は、新潟と中山道鉄道とを結ぶ線は官線(かんせん)にするときめて、信越鉄道設立願いを却下した。
信越線の路線は、長野経由と須坂・松代経由の二線が比べられた。松代コースは、水害にあいやすいなどの理由で、結局、旧北国街道コースに決定した。明治十九年八月直江津―関山(せきやま)間、同二十一年五月長野、同八月上田、同十二月軽井沢とつぎつぎに線路は延びていって、明治二十六年四月には、碓氷(うすい)峠の難工事が完成して東京まで通じるようになった。
さて、鉄道が旧北国街道を通ることにきまると、それまでの中牛馬会社は、仕事のやりかたを変えなければならなくなり、この道筋にあった中牛馬会社は連合して共同中牛馬会社をつくった。長野の中沢与左衛門らが発起人となり、東京に本社を置き、明治十九年八月に創立が認可された。
信越線は、もともと中山道線建設の準備ということで、政府の仕事として明治十八年という早い年代から工事が始まったのだが、信越線の建設中、本元の中山道線の方は、明治十九年、東海道線に変更になって建設が取りやめになり、信越線は中山道と関係なく、東京と北越を結ぶ幹線としてそのまま建設がつづけられた。開通後は旅客・貨物両部門とも営業成績がよく、毎年大幅の黒字を計上した。篠ノ井線も明治二十九年に着工、同三十五年に塩尻まで開通、この線も開通当時から大きな黒字だった。