御殿山はこれよりさき万延元年（一八六〇）に、ここに異人館（外国旅館）を建築する案が出されていたが、『外国貿易場所開港見聞記』にも「此頃品川御殿山より大日山え掛け壱万五千坪、外国人旅館地に御見分有ける故、右にては宿方難儀に付、南北・新宿右三ヵ所寄り合い有て、右三宿にて百姓代弐人宛、御代官より御老中様迄御免願に出で候処、追て沙汰に及ぶとの仰せにて、その後御沙汰なく候」とある如く、地元の強い反対運動によって中止された因縁の場所である。

第278図　東海品川御殿山の図

　今回の英・米・仏三ヵ国ミニストル（公使）居館取り建てについて、地元の北品川宿の人たちは御殿山の由緒を「御入国以後は、品川御殿御造営相い成り、御代々様度々成らせられ、高台南の方え和州吉野桜木数株御取り寄せ植え付け、その地を御殿（なず）山と号ケ、今ニ近郷の奇観にて、春分開花の頃は、人々群り集り仕候御旧跡の名所に御座候」と述べて、江戸市民の憩いの場所であることを力説し、異人館建設に強く反対した。もともと幕府においても、御殿山が江戸の桜の名所として市民の行楽地であるということを充分考慮して、品川台場建設の土取り作業も施行したほどで、江戸市民のためにも是非残しておきたい場所であった。しかし一番にが手筋からの強い申し入れに、万やむをえず承知した形であった。結局地元の反対も押し切られて、文久元年（一八六一）十一月十七日より幕府の御普請奉行立ち会いのもと、品川三宿請け負いの形で、畔鍬（くろくわ）人足（土木方の人夫）数千人を動員して地ならしを行ない、ミニストル居館建築作業は開始された。まず翌二年（一八六二）正月に、英国館だけが落成した。