ハリスは、安政4年8月、江戸に入り、麻布善福寺に居を与えられた。同年10月に初登城、将軍家定に会い、大統領国書を提出し、ついで老中堀田正睦と日米通商条約の交渉に入った。
『善福寺略史』によれば、「ハリスは本堂南間脇の間を居所に、次の間を応接室に、下陣の南縁側を食堂として不便な生活を忍んでいた」と記されている。8月18日に肥後藩の田中孚が江戸から国元に送った書簡には「亜墨利加人一八、九人旅宿」とあり、通訳のヒュースケンを入れても意外に少人数であった［図11］。
［図11］ アメリカ仮公使館の置かれた善福寺（長崎大学附属図書館所蔵）
続いて、安政6年オランダ公使館として、芝西応寺、ロシア使節が芝真福寺、フランス外交団の宿舎として、芝三田の済海寺、イギリス公使館として芝高輪東禅寺があてられた。
このほか、会見場所、宿舎として、高輪の泉岳寺、長応寺、広岳院、元麻布の春桃院、三田の元暁院、正泉寺、大増寺、大松寺、随応寺、愛宕の青松寺などの名をあげることができる。これらの仮公館や外交官定宿舎のほか、安政6年8月、芝赤羽の講武所付調練所跡に外国人のための宿泊所として赤羽接遇所が建設された。万延元年（1860）には、プロシア使節オイレンブルグが修好通商条約締結のため、ここを宿舎とし老中安藤信正と交渉をすすめている。
また、文久元年（1861）5月から10月まで、シーボルト父子の宿舎にもなった。
シーボルトは、オランダの軍医として日本研究のため、文政6年（1823）に来日し、長崎に鳴滝塾を開き西洋医学、一般科学を指導したことで知られている。この時は再来日で、身分も商社員であったが、幕府の外交顧問としても働いている。またこの赤羽接遇所よりの帰途、攘夷（じょうい）派の浪士に襲われて死亡したアメリカ合衆国通訳ヒュースケンの事件もよく知られてる。このヒュースケン〔万延元年（1860）没〕の墓は、麻布光林寺にある。
このように、幕末開国期に多くの欧米諸国の公館や外交施設が港区、とくに、芝・麻布地域に集中した理由は、この地域が江戸入府の表玄関口として交通上至便であったからであろう。品川の宿は、日本橋より2里（約8キロメートル）、街道も幕末期には整備されていた。更に、江戸湾に面し、外国人がすでに開港場となっていた神奈川（横浜）より船で入府するにも都合がよかったと思われる。
また、多数の諸外国外交官の公館や宿舎として必要な施設として、由緒ある大寺院が利用できたこともあげられよう。当時の江戸には、大きな施設として大名屋敷もあったが、ヒュースケン事件のみではなく、二度にわたる東禅寺襲撃事件に見られるような過激な攘夷派の浪人が横行していたこともあり、これらを刺激しないためにも、大寺院が選ばれたに違いない。
地域に住む当時の人々の外国人への対応については、当初、婦人・子どもは恐れ、その姿を見ると家中に隠れおののいたとあるが、前述のヒュースケン葬儀の際、「墓地に行く途中も、帰るときも、何一つ厄介なことは起こらなかったし、悪意のしるしも認められなかった。大勢の人々が軍楽隊の演奏と、ただならぬみものにひかれて集まってきたが、みな静粛で秩序があった」とアメリカ合衆国国務省に送った報告書でハリスは述べている。江戸郊外に住む素朴な町人や農民の様子が容易に想像できる一節である。
むしろ、当時居留する外国人の方が暴徒の襲撃を恐れていたようで、たびたびその警備を幕府の高官に依頼している。