開港とほぼ同時に江戸に外国公館を設置したのは、前述のようにアメリカ・イギリス・フランスの三か国だったが、安政五年に条約を締結した他の二か国、オランダとロシアの外交代表は当初江戸には駐在しなかった。しかし、江戸に滞在する際の宿泊施設はやはり港区域内の寺院が利用された。
　オランダの駐日総領事デ・ウィットは長崎出島を本拠とし、江戸には外交上の必要があるときのみ出府する体制をとる。出府時の滞在施設には高輪の長応寺（ちょうおうじ）（高輪二丁目　その後移転）が選定され、長応寺はオランダの外交官がやってくるたびに「仮建物」を設けて外交官の家具類を搬入し、外交官が長崎に帰任すると建物を取り壊していた（『続通信全覧』）。しかし、江戸・横浜に駐在しないオランダの代表は、他国外交団との交流を欠いて日本に対する外交的な影響力を低下させていく。このため、文久三年（一八六三）に総領事となったファン・ポルスブルックは、本拠を出島から横浜に移すことになる（横山　二〇〇〇）。
　ロシアはサハリン（樺太）に近い箱館の領事館を日本における本拠としており、幕末期の江戸には常駐の外交代表を派遣しなかった。しかし、箱館の領事（実質的なロシアの外交代表）が江戸に出府する際には三田小山（現在の三田一丁目）の天暁院（てんぎょういん）に滞在した。天暁院は曹洞宗の「関三刹（かんさんさつ）」（関東の三本山）大中寺（栃木県栃木市）の江戸における宿所である（三章二節四項参照）。ロシアは江戸の外国代表と連携することを避け、自国の利害に直接関係することのみを幕府（箱館奉行）と交渉するため、あえて江戸に常駐の外交使節を派遣しなかったという指摘もある（秋月　一九八六）。
　なお、幕府は短期的な使節の滞在施設として赤羽接遇所（東麻布一丁目）を整備している。接遇所には増上寺の裏手にあった講武所付属調練所の跡地が利用され、安政六年三月一四日に建設が決定した（『続通信全覧』）。二八五六坪の敷地には、外国人の宿泊空間のほか、幕府役人の詰所や厩、警備の番所などが建設される。万延元年（一八六〇）一月にロシア領事ゴシケビッチ、同年七月にプロイセン使節オイレンブルクが滞在したほか、再来日を果たしたシ－ボルトも文久元年（一八六一）五月にここを宿所としている。