江戸での飲料水の不足を解消するため、多摩川から上水を引く計画が具体化されたのは承応元年（一六五二）からのようで、翌二年には老中松平伊豆守信綱（まつだいらいずのかみのぶつな）（川越藩主）が総責任者にあたる惣奉行、関東郡代の伊奈半十郎忠治（いなはんじゅうろうただはる）が現場監督にあたる玉川水道奉行に任じられた。そして、開削工事は、江戸の町人とも多摩の農民ともいわれている庄右衛門（しょうえもん）と清右衛門（せいえもん）の兄弟が請け負うこととなり、幕府から兄弟に開削資金六〇〇〇両（七五〇〇両とも）が渡された。
工事の着手は承応二年四月。兄弟は羽村（はむら）（現羽村市）に取り入れ口をつくって多摩川の水を引き、四谷大木戸（よつやおおきど）（現新宿区）までの上水路を同年一一月に完成させた。工期は約八か月間で、羽村の取水口から四谷大木戸までの距離は約四二・七キロメートル。雨天の日なども考慮して、一日で掘り進められたのは約二一三・五メートルという試算もあり、重機などのない当時にあっては、相当速いペースで工事が進められたことがうかがえる。また、羽村の取水口と四谷大木戸の標高差は約一〇〇メートルしかなく、わずかな傾斜しかない自然の地形を水が流れるように掘っていくのは、極めて難しい工事であったろう。
そして、翌承応三年六月には、四谷大木戸から地下に木樋・石樋を埋めて地下水道を造り、虎ノ門（現港区）まで水を引く工事も完成したようである。この一連の工事を完成させた功績によって、庄右衛門と清右衛門は米二〇〇石分の金子を与えられるとともに、「玉川」姓や帯刀を許可された。そして、「玉川上水御役」を永代勤めるように申し付けられたという。
図2-46 玉川兄弟の銅像（羽村市）
（平成24年8月撮影）
以上のように、玉川上水は、江戸市中の人びとの飲料水を供給するために開削されたものであった。しかしながら、序章図0－8としても掲げたように、玉川上水からは、途中で幾筋もの分水路が引かれ、それまで飲料水の確保が困難であったために人が容易には住めなかった武蔵野に、いくつもの新田村がひらかれていくことになった。すなわち、玉川上水の水は、江戸だけでなく、武蔵野の新田村に住むようになった人びとの飲料水としても用いられたのである。玉川上水から最も早く引かれた分水は野火止用水である。この用水は、承応四年二月に、松平信綱が家臣の安松金右衛門吉実（やすまつきんえもんよしざね）を奉行として開削させたもので、同年三月に完成している。小平市域では、明暦二年（一六五六）に小川九郎兵衛（おがわくろべえ）によって開削された小川分水が、最も早い（第一章第一節）。
なお、玉川上水の開削については、わからない部分が多く、工事が途中で二度失敗した、玉川上水よりもさきに野火止用水（のびどめようすい）が計画されていた、玉川上水を完成させたのは松平信綱の家臣安松金右衛門である、などの説もあることを付け加えておく。