外国公館が江戸に設置されると、公館関係者と港区域に住む人々とのあいだに様々なトラブルも生じる。また、攘夷思想を抱く志士によって外国人の暗殺も企てられた。外国人襲撃事件は外国側に大きな衝撃を与え、幕府は外国人の警備体制の強化を迫られることになる。
　江戸における初の外国公館関係者襲撃事件の被害者は、イギリス総領事館通訳の伝吉である。船乗りだった伝吉は嘉永三年（一八五〇）に遭難。救助されてサンフランシスコ、香港、上海を経て、オ－ルコックの通訳として日本に戻り、東禅寺に勤務していた。事件の犯人については、薩摩藩士であることが近年明らかになっている（保谷　二〇〇五）。
　万延元年（一八六〇）の元旦、薩摩藩の兵具方（ひょうぐかた）足軽・藤崎直左衛門は藩の高輪下屋敷へ「祝儀廻り」として出向いた。帰りがけに高輪牛町（うしまち）（現在の高輪二丁目）で子供が羽子板で遊んでいるのを見物していると、「異国人」が馬に乗ってやってきた。これは洋装していた伝吉である。藤崎が「ちょっと異国人が通るか」と言ったところ、伝吉は腰に提げていた鉄砲を取り「不法の儀を申したら射殺するぞ」と発砲する構えを見せた。藤崎が思わず謝ると、伝吉は「相免ずべし」（許してやる）と言い捨てて帰っていった。藤崎はこの仕打ちに、再び出会ったら打ち果たそうと心に決めた。
　一月七日、藤崎は伝吉が東禅寺に馬で乗り入れていくのを見かけた。東禅寺の柵門内には男女が多く集まっている。これ幸いと藤崎は群衆を押し分け、脇差を伝吉の背中より腹へ突き通した。伝吉は一言もなく一、二間（三・六メ－トル）歩いて倒れた。藤崎は東禅寺の裏通りから高輪屋敷の裏門へ駆け込み、屋敷詰肝煎（きもいり）方へ事件の顛末を話した（「万延元年薩藩士外国人殺傷一件書類」）。
　以上は犯人藤崎の供述であり、全面的に信用するわけにはいかないが、相互の些細な行き違いからトラブルが生じたこと、そしてそれが殺人事件に発展したことがうかがえる。外国人殺傷事件は攘夷派浪士による計画的な犯行だけではなく、偶発的なものもあったのである。
　伝吉暗殺事件に続いて二月五日、横浜でオランダの商船長デ・フォスとデッケルの二人が殺害された。外国奉行はこれらの暗殺事件を契機に、江戸の外国人の警備体制を強化する。幕府は、小普請組（無役の幕臣が所属）の四五人に加え、御三卿の清水家附より一五人、合計六〇人を江戸の三公館（善福寺・東禅寺・済海寺）へ派遣することを決める。この幕臣たちは外国奉行支配手附（てつけ）（「外国方手附」）と称されて、外国奉行の指揮下に入った（『続通信全覧』）。