ペリ－艦隊が江戸湾を退去したのは嘉永六年（一八五三）六月一二日のことであった。幕府は、艦隊が江戸湾内海に侵入するにつれ、目付や下役の使番（つかいばん）による海岸見分を次々と実施し、艦隊退去後の二二日から七月一六日までの約一か月、若年寄本多忠徳（ただのり）一行を見分に派遣した。忠徳一行は、新たな江戸湾の防備拠点としての台場を築くため、東海道品川宿を発着地とし、内海や三浦半島、内房の大名警備地などの巡見を行った。ここに同行した勘定吟味役格兼代官の江川英龍（ひでたつ）（一八〇一～一八五五）は、品川宿帰着後に海防強化のための報告書兼上申書を提出した。そして、一行の帰府からわずか一週間後、老中首座阿部正弘（一八一九～一八五七）は、勘定奉行の松平近直（ちかなお）と川路聖謨（かわじとしあきら）、勘定吟味役の竹内保徳（やすのり）、江川英龍に対し、「内海御警衛御台場御普請等の儀、急速取掛り候様仰せ出され候、追ては夫々懸りも仰せ付けらるべく候得共、容易ならざる御用柄、如何ニも大業の義ニ付、取調方等一ト通ニては行届申間敷候間、何れも引請取扱一同精力を尽し、何れニも成功致し候様相心得らるべく候」（「御備場御用留　壱番」）と、追々御用掛を組織するが、困難な大事業のため、各々尽力して成功させるよう、急ぎ「内海御警衛御台場」の普請を命じている。江川英龍の報告書兼上申書では、普請地となる品川沖への台場について具体的に触れておらず、江戸湾で最も狭い海域である走水（はしりみず）（現在の神奈川県横須賀市）・富津（現在の千葉県富津市）線や、羽田、川崎沖合への台場普請と軍艦建造による防備に主眼が置かれている。しかし、彼らは東海道品川宿と御殿山、南品川猟師町（現在の東京都品川区東品川）など周辺地域の測量を入念に行っていることから、この時点で品川を防衛拠点として考えており、その沖合を台場普請候補地の一つにあげていた可能性は高いであろう。
　阿部正弘が内海台場の普請を命じた上記四名による担当の掛は、やがて目付の堀利忠（のち利熈（としひろ））を加えた主導体制が取られ、約一か月後の八月二八日に江戸城で正式に発足する「内海御台場御普請并（ならびに）大筒鋳立御用掛」の前身として機能していく。ここに、将軍直轄の一大土木工事が開始されるのである。