ペリ-と締結された日米和親条約に基づいて、安政三年(一八五六)七月にアメリカ総領事タウンゼンド・ハリスが下田(現在の静岡県下田市)に来航した。ハリスは翌安政四年一〇月に江戸へ出府。蕃書調所(ばんしょしらべしょ)(東京都千代田区)に滞在して、修好通商条約を結ぶための交渉を幕府と開始する。
交渉は難航する局面もあったが、安政五年(一八五八)六月一九日、ハリスは神奈川沖(現在の神奈川県横浜市)に碇泊するポ-ハタン号上で、幕府交渉委員の岩瀬忠震(いわせただなり)、井上清直(きよなお)と日米修好通商条約を締結した。この条約により、神奈川・長崎・箱館・新潟・兵庫の開港、江戸・大坂の開市が決まり、欧米諸国との自由貿易が約束された。同時に、条約の第一条には「合衆国の大統領は江戸に居留するヂプロマチ-キ、アゲントを任じ」("The President of the United States may appoint a diplomatic agent to reside at the city of Yedo")と、アメリカの外交代表の江戸駐在が定められたのである(『旧条約彙纂』)。