さて、勘解由らは、この会談後の記録によると、「今日提督上陸いたし追々申聞け候次第、容易ならざる儀にもこれあり、横浜に於いて何様の御約定これあり候儀に候哉、相分り兼ね候得共、万一異人共江府へ罷越し候はば、如何様の儀申出べき哉も計り難く、左候節は一通りならざる儀にも及び申すべく、兼ねて御達これあり候には万事平穏に取斗らい申すべき旨御達に付、是迄取扱い来り候得共、横浜表の儀は何分承知仕らず候得ば、真偽の程ははかり難く候得共、万一御約条に相触れ候儀等これあり、彼是申立候様にては以ての外の儀に付、一同深く心痛致し候。」(『亜国来使記』)と、その苦心の程をしたためている。
　折から、前述したように、目付堀利熙、勘定吟味役村垣範正が、蝦夷地検分のため対岸の三厩まで来ていたので、松前藩では使を遣わして事情を訴えた。堀らの任務は蝦夷地検分にあり、ペリー応接は本務とするところではなかったが、2人は、松前藩の要請により、属僚の支配勘定安間純之進、徒目付平山謙次郎、勘定吟味方下役吉見健之丞、小人目付吉岡元平、蘭学者武田斐三郎らを箱館に派遣した。安間らの属僚は5月5日朝箱館に到着し、ペリー提督らと会見、アメリカ例の書面を受取り、翌日返書を届けたのである。結局、箱館港に関する細部にわたる取り決めは、後日下田において林大学頭らと協議すべきであるとし、箱館訪問は単に視察であるという、神奈川での彼らの言明をたてに、アメリカ側の要求は不当であることを指摘し、ペリー提督もまた一応箱館調査の目的を達し、箱館が良港であることも確かめ得たので、これ以上争うことなく、かつ下田での会見の予定日が切迫していた関係もあり、5月8日箱館を退出したのである。