西応寺は天正十九年(一五九一)一一月、徳川家康がここに立ち寄った時から徳川家との関係が深く、安政五年(一八五八)日蘭通商条約により、オランダ公使館が江戸に開かれることになると、この西応寺がそれにあてられた。寺院内の書院・庫裡などを利用し、初代オランダ公使、クルチュースなどが駐在した。記録によると、文久元年(一八六一)五月、異人宿手当八五両、その他一五三両で書院や庫裡を修理した。
　また、安政五年(一八五八)七月四日、イギリスのエルジンは艦船四隻を率いて長崎へ来航し、そのうちの三隻で東上し品川沖に停泊した。エルジンは初め宿舎を芝愛宕下切通しの青龍寺に宿泊する予定であったが、手ぜまなため西応寺に宿泊したと記録に残されている。しかし、西応寺は慶応三年(一八六七)十二月二十五日、薩摩屋敷襲撃の折に火災により全焼した。その際オランダ公館日誌およびあらゆる記録が灰燼に帰し、その他の記録によって当時の状況を知るよりない。旧公使館跡は現在の西応寺の右隣り、こんにち同寺院の経営している「みなと幼稚園」の場所にあったとされている。