御殿山英国館建設事情については、さきのアーネスト＝サトウは
すこぶる上等の敷地がきまり、設計はイギリス、ただし費用は将軍の政府持ちで、完全な建物数棟がその敷地に建築中であった。隣接の敷地は同じ目的のため、フランス・オランダ・アメリカに与えられていた。この辺一帯の土地はかつて江戸市民の気に入りの遊楽地であった場所を分割したもので、それまでは春になるとあらゆる階級の人々が集まってきて、江戸湾の青い海を見ながら、桜花の下で楽しんだものである。………この敷地に建設中のイギリス公使館は、一棟の大きな二階建ての洋館で、たいへん見事な材木が工事に用いられ、部屋はいずれも宮殿に見るような広さをもっていた。しかし、こうした場所に外国人が居住するのを、日本人がきらっていることは、われわれにもわかっていた。一般庶民も、以前自分たちの遊楽地であったところが「夷狄」の居住地に変わったのを憤慨していた（『ヤングジャパン』）。
と、当時の御殿山に対する日本の人たちの気持を、つぶさに物語っていた。
このような情勢下に、庶民の反対をおしきって建築したイギリス公使館に対し、襲撃計画がひそかに立てられた。その前哨戦とでもいうべきものであろう、完成間ぢかい十一月のある日「数人のサムライが、ほとんど完成した公使館の門に姿をみせたが、外国人がいないと知って、おだやかに引きあげ、それから近くの茶店にゆき、公使館が無人（外国人）であることを再確認してから再び公使館に戻り、門番に住居を見せてほしいと懇願したが断わられ、そこでそのサムライは刀を抜いて門番を斬り倒し、門をくぐりぬけて偵察して帰った」（『ヤングジャパン』）事件があった。いわゆる焼打事件（十二月十三日）の下見であるが、この下見事件以後、幕府は、そのうちに何か一大事件が起こるのではないかと察してか、英国のニール代理公使に対して、御殿山へ移転することを留保してほしい旨の要請状を出している。幕府にとっても、このイギリス公使館建設については工事費として約四万ドル近くかかっているが、異人館に対する国民の感情が想像以上にたかぶってきては、どうしようも処置なく、将軍みずから「外国人を御殿山に住まわせてはならない」と命じているので、幕府側はついに移転拒否の強硬手段をとらざるをえなくなった。一方要請をうけた英国側のニール代理公使も、「自分には決定権はないが、英国公使館を御殿山に建設するということは前から決定していたことで、このような話は、建物が完成した今日まで何も聞かされていない」と、これまた一歩も引かない強い態度であった。