こうした状況に対して、昭和二〇年代後半から道路整備体制の確立が急がれていた（表15－3－3－1）。昭和二七年（一九五二）に「道路法」が全面改正されるとともに「道路整備特別措置法」が制定され、有料道路の制度が始まった。翌年には「道路整備費の財源等に関する臨時措置法」が制定され、揮発油税が道路特定財源として定められた。さらに昭和二九年には前述の報告書でも触れられている「第一次道路整備五箇年計画」が策定され、道路整備の目標・事業の量を定めて国や自治体が計画的に道路整備を推進することとされた。このなかで、特にオリンピックに関連するものとして二二路線、事業延長54・6㎞に渡る路線が「オリンピック関連街路」として優先的に整備されることとなる。というのも当時、都内の道路はいたるところで大渋滞を引き起こしていた。そして新東京国際空港（成田空港）がまだ存在していなかった当時、日本の空の玄関口の役割を果たしていた羽田空港から競技施設の集中する代々木まで、優に二時間はかかる状況であった。「こうした状況では、選手も観客も移動できず、大パニックになる」というのが当時の関係者の一致した見方であった。区内におけるオリンピック関連街路として通称「青山通り」（国道二四六号・放射第四号線）と環状第七号線が中核におかれた。特に青山通りは幅員が約二倍に拡張されている。オリンピック開催後にさらに交通量が増えることを見据えた路線整備が目指された結果である。この時に自動車交通の障害になるとして都電の三宅坂～青山一丁目間も廃止された。この他、競技場や選手村との連絡を果たす路線として環状第三号・環状第四号線が重点整備された。
首都高速道路は、そうしたオリンピック関連の路線として最たるものであった。そもそも首都高速道路の計画自体はオリンピック招致とは関係のないところで始まった。昭和二六年に東京都が予備調査を開始し、同三四年には基本計画の決定・指示（総延長71・03㎞）がなされていた。しかし、前述のとおり羽田空港から都心部の選手村や競技場へ連絡するためのインフラ整備が急がれることになり、昭和三五年の首都圏整備委員会で、特に整備を急ぐ路線として五路線32・8㎞が決定された。その後、昭和三七年の京橋～芝浦間の4・5㎞を皮切りに、オリンピック開幕の九日前までに予定路線のすべてが開通する。この結果、羽田から代々木までの所要時間は、それまでの約二時間から三〇分程度にまで短縮された。

表15-3-3-1　1950年代（昭和25～34年）の主な道路関連政策

こうしてオリンピック開催に向けて一部完成した首都高速道路は、大会の開催に貢献した。既に多くの建築物が戦災からの復興過程で急速に再建されているなかで、建設用地は河川上部が35・0％、街路上部が37・7％、国有地が12・9％で、全体の85・6％が用地買収の必要がない地所となっていた。オリンピック開催までの五年という工期を考慮した最大限の工夫であり、またこのときの実績が、その先のネットワーク拡大に資することになったのである。
そもそも東京の都市空間は、江戸時代の街路をそのまま残しているところが多く、近代社会となった明治以降、道路を中心とした公共空間の改造が長く課題となっていた。関東大震災、アジア・太平洋戦争での空襲など、都市空間を再整備する機会はいくつかあり、そのたびに大規模な都市計画が作られはしたが、大半は未完成のまま終わるという歴史を繰り返している。一九六四年大会に向けての道路整備も、その後の自動車交通のさらなる増加に対応しきれるものにはならなかった。また首都高速道路は、東京を拠点として日本の各地に放射状に伸びる自動車専用道（常磐自動車道、東北自動車道、関越自動車道、中央自動車道、東名高速など）と接続されたがゆえに、結果的に東京への自動車交通の集中を招いた。都心部の渋滞を解消するどころか、その後のさらなる渋滞発生の要因ともなってしまったのである。首都高速道路は「首都低速道路」「動く駐車場」などとも揶揄され、こうした状態がある程度まで解消するには、東京外かく環状自動車道（いわゆる外環道）、首都圏中央連絡自動車道（圏央道）のネットワークが形成されるまで待たなければならないことになる。
こうした道路交通の状況に対して、鉄道の建設も積極的に進められていた。当時の東京は都電（路面電車）が活躍する状況であったが、前述したとおり増加する自動車交通の妨げになっていることが指摘されていた。そのため、特に積極的に進められたのが地下鉄の建設である。都営地下鉄浅草線は最初の都営の地下鉄として昭和三五年の押上―浅草橋間の部分開業を皮切りに、同三九年には区内の大門から押上の区間が開業した。その後、昭和四三年に西馬込―押上間の全線が開業している。一方、営団地下鉄（現在の東京メトロ）の日比谷線も、オリンピック開催に間に合わせるように建設が進められた。昭和三六年の南千住―仲御徒町間の部分開業に始まり、その後、いくつかの区間の部分開業を経て同三九年八月に全線開業を見ている。
こうした交通インフラの整備が、大会開催という「締め切り効果」もあって急ピッチで進められたことは、一九六四年大会の重要なレガシーのひとつといえる。
もちろん、こうしたハード面のレガシーだけでなく、人々の記憶に残るもの、つまりソフト面のレガシーもある。その代表例が聖火リレーであろう。区内の聖火リレーは一〇月八日に渋谷区から受け継ぎ、天現寺橋から二之橋、二之橋から芝公園野球場前、芝公園野球場前から田村町（現在の新橋一丁目）の三つの区間に分けて行われた。それぞれの区間では正走者一人、副走者二人、伴走者二〇人が、主に以下の基準に基づいて選ばれた。
①満一六歳から二〇歳まで、ただし伴走者には中学生を選んでもよい。
②アマチュアであること。
③一区間2㎞を時速12㎞で晴雨かかわらず走破できる体力があること。
④東京都中学校総合体育大会や同高等学校総合体育大会、国民体育大会などの出場歴がある者、またはスポーツ分野で表彰されるなどの優秀な成績を収めたことがある者、または学業や勤務成績などの優秀な者。
年齢の指定やスポーツ経験があることなどの制限が設けられており、区民なら誰でも参加できうるというわけではなかったが、スポーツ界における最高峰の大会に参加したという記憶は、ランナーとなった人々には大きな遺産となったことだろう。例えばスキー競技での成績を評価されて第二区間で正走者となったランナーは、後に区のスキー連盟会長となり、競技の発展、後進の指導に尽力することとなった。このように、特に一六歳から二〇歳までという年齢指定には、未来ある世代にオリンピックの記憶をレガシーとして残そうという意図を十分に感じられるものとなっていた。