松前勘解由以下の松前藩の役人たちは、横浜における日米交渉の具体的内容については幕府より何一つ知らされていなかっただけに、前記のようなペリーの主張と要求に接し大いに困惑した。「御用記写」の「今日提督上陸いたし追々申聞候次第、不二容易一義ニ茂有レ之、於二横浜一何様之御約定有レ之候哉相分り兼候得共、万一異人共即出帆いたし、江府江罷越候ハヽ、如何様の義可二申出一哉茂難レ斗、左候節は実ニ不二一通一義ニ茂及可レ申候、兼而御達有レ之候ニは、万事平穏ニ取斗可レ申旨御達ニ付、是迄取扱来候得共、横浜表之義は、何分承知不レ仕候得は、真偽之程は難レ斗候得共、万一御約定ニ相振れ候義等有レ之、彼是申立候様ニ而は、以之外之義ニ付、一同深心痛いたし候」との文は、その間の様子を生々しく語っている。そのため用人遠藤又左衛門は、会談終了後ただちに井上富左右へその対応策を相談したが、実は、井上もこの日の会談の際応接所に詰め、会談の内容を逐一見聞きしていただけに、彼自身もその対応に苦慮しているところであった(「御用記写」)。
　丁度その頃、松前・蝦夷地調査を命じられた堀織部・村垣與三郎・安間純之進・平山謙二郎・名村五八郎他の一行が蝦夷地に向っていたが、井上はこの情報を入手していたこともあって、この際、「臨機之取斗」もやむなしとの判断から、堀・村垣等に平山・名村の両名を箱館に派遣してくれるよう要請するので、ペリーに江戸行を暫時見合わせるよう伝えよと遠藤に指示した。この井上の指示をめぐって松前藩役人と井上との間に若干の意思のくいちがいがみられたが(松前藩役人の意見は、ペリーの出方をみてから対応するというもの)、井上が「今日異人共申出候趣ニ而は、明日ニも出帆ニ而迅速ニ江府表江可二罷越一哉茂難レ斗、万一手後れニ相成候而は不容易之義ニ候」(「御用記写」)と危機感を強調し、しかも平山・名村の両名が近く箱館に到着する旨ペリーに伝えるべきだと主張したため、松前藩役人側もついに井上の指示に従い、翌4月27日、ペリーに対しその旨を伝えるに至った(「御用記写」)。こうした事態にたちいたって松前藩もまた、井上とは別に堀・村垣に対し、平山・名村の箱館派遣を要請した(『幕外』6－142)。なお、井上がこうした対応策を松前藩役人に指示したのは、自己の立場を考慮してのことであろうが、津軽の三厩で井上の書状を受取った村垣は、この井上の対応について「甚軽卒之事也」と記している(「公務日記」安政元年4月28日条『幕外』附録2)。
　ともかく、こうしてペリーに平山・名村が近く箱館に来る旨伝えた以上、堀・村垣も、もはやそれを取消すわけにもいかず、支配勘定安間純之進・徒目付平山謙二郎・吟味方下役吉見健之丞・御小人目付吉岡元平と武田斐三郎を箱館に派遣することになった。武田斐三郎を派遣したのは、名村五八郎が既に蝦夷地に出立していたため、通詞がいず、名村のかわりに筆談(オランダ語)を行わせるためであった(「公務日記」4月27日条、『幕外』6－142)。
　5月6日、ポーハタン号上で安間・平山等とペリーとの会談が行われたが、この時井上富左右と松前藩側の遠藤又左衛門・石塚官蔵・藤原主馬・関央・蛯子次郎も同席した。井上が箱館での対米交渉の場に正式に姿を現したのは、これが最初であった。この会談でペリーが主張した主な点は、(1)遊歩区域を官舎を中心に7里四方とし、そのことを今日決定すること。なお、遊歩区域を官舎を中心に7里四方とする考えは、先のアメリカ人の行動に関する抗議文への回答書の後段で既に述べられていた(「御用記写」、原漢文)。(2)市中で婦女子の姿を見ないことはアメリカ人を「敵仇」とすることであり、また、市中では各家が門を閉じ、市民は我々に親しまないで多く走り去り、しかも役人が我々のあとを尾行することなどは、条約の精神に合わないことであり、こうしたことは、下田でも見なかったことである、などの2点であった(同前)。安間・平山は、(1)の遊歩区域については、後日下田で協議すべきものであることを伝えるとともに、これはすこぶる重大なこと故、誤解が生じないようその返答の内容を武田斐三郎に命じてオランダ語に翻訳させ、オランダ語翻訳文をペリーに渡した。また(2)については、横浜に於て森山栄之助を介して説明した如く、日本は長く鎖国を祖法としてきたために、日本人は未だ外国人になれていず、そのためにおきた現象であって、このことはペリー自身すでに横浜において経験ずみのはずである。箱館は江戸より遠く離れた地であってみればなおのことであり、アメリカ人を敵視しているために生じたことでは決してない、などと答えたが(「御用記写」)、これは言い逃れのための方便にすぎなかったことはいうまでもない。
　翌5月7日も応接所で両者の会談が予定されていたが、ペリーはこれ以上会談を続けたところで新たな回答を得る保証は何一つなく、箱館来航の所期の目的は充分果たされたことや、下田での応接掛との会談の期日が迫っていたこともあって、7日の会談を放棄し、翌5月8日、ポーハタン号・ミシシッピー号を率いて箱館を去った。その結果、箱館の遊歩区域をめぐる問題は、結局下田での日米交渉にもちこされることとなったのである。なお箱館来航のペリー艦隊のうち、サザンプトン号は、既に4月28日噴火湾調査に向い、マセドニアン号・ヴァンダリア号の2艘は、5月5日各々下田(前者)と上海(後者)へ向けて出帆していた(「御用記写」、『遠征記』、『遠征日記』、『随行記』)。
　こうして箱館の市民は、長い間の緊張から解放されることになった。その時の模様を「亜墨利加一条写」は次のように記している。「同八日、美士〓被(ミシシッピー)・鮑丹(ポーハタン)両艘共当澗より退帆いたし候、兼而より彼等之舟見物不二相成一趣被二申渡一候得共、長々之憂晴同様ニ差心得、高見并山背泊へ人々沢山ニ出会いたし候、夫々段々䑺去り根越辺迄行候与存居候所、俄モヤ相掛り、右モヤ見(ママ)かヽり候所、又候矢不来沖ニ両艘とも相掛り、夫より色々之噂有レ之候得共、取にたらず、又々橋舟ニ而応接方代嶋様参り候否退帆ニ相成、市中一統安心いたし、是迄隠れ居候婦人子供漸漸与蔵や家々之奥より出かけ、安堵思を致し候、店方之義は、それそれニ店開キいたし候」((　)内引用者)。箱館の各階層の人たちの開放感が伝わってくるようである。