徳川家康が慶長８年（1603）に江戸に幕府を開くと、江戸の町には多くの人々が住むことになり、飲み水が不足してきました。そこで、神田上水に続いて新たに開削されたのが人工上水路である「玉川上水」です。水路工事は玉川庄右衛門・清右衛門兄弟が請け負い、わずか８ヶ月間とされる工事期間で承応３年（1654）に開通しました。

玉川上水は、多摩川の「羽村堰」（羽村市）から四谷大木戸（新宿区内藤町。四谷四丁目交差点付近）までが露天掘りの水路で、その先は地中に埋められた木樋（きどい）などで江戸城や市中に給水されました。

玉川上水の延長は約43㎞、標高差わずか92ｍのゆるやかな流れで、工事には高度な土木技術が発揮されています。この優れた土木遺構である玉川上水は、平成15年（2003）８月27日付で文化財保護法に基づく「国史跡」に指定されました（指定範囲は新宿区の暗渠区間などを除く約30㎞）。

玉川上水には30か所以上の「分水」があり、飲料水、灌漑用水、水車の動力などに利用されました。また、明治３年（1870）には玉川上水を利用した「通船」事業が始まり、産物の輸送に活用されました。通船は２年ほどで廃止されましたが、この通船事業が契機となり甲武鉄道（今のＪＲ中央線）や青梅鉄道（ＪＲ青梅線）の開業につながった側面があります。

玉川上水の管理は、当初は請負人の玉川家が、途中からは幕府直営となりました。明治維新後はめまぐるしく変わりましたが、明治22年（1889）から「東京市」が管理することになりました（当時の多摩地区は神奈川県。1893年の多摩地区の東京府移管の一つの理由として玉川上水管理問題があります）。現在は東京都水道局が管理しています。

江戸・東京の上水路として大きな役割を果たしてきた玉川上水は、開通から360年余が経過しました。東京の９市４区にわたる43㎞の内、今でも羽村堰から小平監視所までの約12㎞は上水路として機能しており、地下導水路で東村山浄水場へつながっています（小平監視所からの下流は昭島市宮沢町の多摩川上流水再生センターから送られる再生水が流れています）。

現役の上水路区間に入る昭島市域は、約2.5㎞と最も短い区間ですが、両岸は武蔵野の面影を今も残し、緑のオアシスになっています。