日本と外国人（諸外国）との交際のありかたが変更される画期となったのは、元治元年（一八六四）八月五日から八日にかけて行われた下関戦争である。イギリス・アメリカ・フランス・オランダの四か国の連合艦隊が下関海峡で長州藩と交戦し、外国艦隊は長州藩の砲台を占領した。こののち、幕府の対外姿勢は軟化し、江戸・横浜周辺の外国人に対する排外的な気風もおさまってくる。治安の改善をうけて、欧米の外交官は江戸へ進出するため、外国公館について施設の増強をはかる。
　慶応元年（一八六五）二月一一日、イギリスの代理公使チャ－ルズ・ウィンチェスタ－は幕府に、泉岳寺を公使館として使用することの許可を求めた。ウィンチェスタ－から老中にあてた書簡には、現在外国公館が江戸から離れていることの不都合が記されている（「高輪泉岳寺ニ於テ英国仮公使館造営一件」）。従来使用されていた東禅寺は、襲撃事件後に荒廃し公館としての利用が難しかったようである。
　閏五月一六日、横浜に新任のイギリス公使ハリ－・パ－クスが着任した。パ－クスも、仕事の上で必要が生じた場合、すぐに利用できる宿所を江戸に持つことを希望し、さらに「老中との個人的な交際を深める機会を絶対にのがさないこと」が重要だと考えていた（萩原　一九九九）。このため、パ－クスもウィンチェスタ－に引き続いて江戸の外国公館の増強をはかる。