この後、おおむね慶応元年頃まで大名家による外国公館警備が実施される（図6－2－3－1、口絵14）。現時点で警備を命じられたことが判明している大名家は三〇家余りだが、おおむね三万石から一〇万石程度の藩が警備にあてられた。
図6－2－3－1 善福寺の警備図（口絵14）
「善福寺境内御固諸家持場絵図」 東京大学史料編纂所所蔵
文久二年（一八六二）六月四日、幕府は使番（つかいばん）に「宿寺警衛向之義ハ、都而（すべて）其方共へ御委任被成（なされ）候」（『続通信全覧』）との指令を発している。同じ頃に善福寺を警備していた館林藩秋元家の警備担当者が記した日記（「善福寺出張中日記」）には、使番の名前が日々記されていることから、幕府は大名家を公館の警備にあてつつ、旗本である使番にその監督を命じたと考えられる。
東禅寺の警備にあたった大和郡山藩柳沢家の家臣斎藤利端の記録（「出府被仰付（おおせつけられ）候ニ付出立ゟ（より）帰国迄手扣」）によると、「高輪東禅寺江（え）参居候異人横浜江不残（のこらず）引取申候、右ニ付御固メ御人数翌日為休足（きゅうそくのため）相引ケ申候事」
（文久元年九月一七日）と外国人が横浜にもどっていった後は、別手組の警備と同様、大名家も最小限の人数を残していったん江戸屋敷に引き揚げたことがわかる。しかし、警備は大名家に少なからぬ負担を与えたため、警備命令を固辞する大名もあった。そのため、幕府は外国公館の警備を大名から別手組のみに切り替えていく。