以上のように、外国公館や外国使節の滞在施設は、港区域内のうち高輪・三田・麻布地域にとりわけ集中した。その理由として、この一帯が江戸（城）と開港場横浜の間に位置し、さらに海に近かったため、外国人にとって交通の便がよかったことがまず挙げられる。さらに、この地域には外国公館を設置しうる寺院が多く存在していたことも、もう一つの理由として考えられる。江戸時代はじめの都市の拡大にともなって、江戸の中心部から多くの寺院が転入し、この地域には寺院街が形成されていたのである（一章一節、三章五節参照）。
　それでは、高輪・三田・麻布地域のなかで、どのような寺院が外国公館に選ばれたのだろうか。例えば、善福寺でハリスが公使館として使った「庫裏（くり）」は、公家の近衛大納言忠房が江戸滞在中に宿所としたことが明らかになっている。つまり、アメリカ公使館には格式ある寺院の御殿空間が選ばれたのである（𠮷﨑　二〇〇七）。また、東禅寺には幕府の使節を迎えうる格式を持つ玄関・式台があり、その存在が外国公館として選ばれた理由であったという（竹村　二〇〇九）。外国公館に選ばれた寺院は一定の格を備えた接客空間を持っていたのである。
　寺院の選定にあたっては、警備面も考慮された。慶応元年（一八六五）一月、外国奉行菊池隆吉（たかよし）らは、プロイセン領事フォン・ブラントの江戸における公館として、三田小山の永隆寺（えいりゅうじ）、二本榎（現在の高輪一～三丁目）の承教寺（じょうきょうじ）、朗惺寺（ろうせいじ）、広岳院の四か寺を候補として挙げている。外国奉行はこれらの寺院を選んだ理由として「四ヶ寺者建物も相応相見、境内も可成空地有之、警衛之者差置候ニも差支無之哉ニ候」（吉﨑　二〇〇五および「孛漏生岡士止宿所之儀ニ付申上候書付」）と述べている。
　建物が外国公館として一定の格式を持っていること、そして境内が広く警備の人員を配置できること、という二点が寺院選定の際に考慮されたのである。