以上のように旅籠が増加するにつれ、本陣の宿泊機能も低下をみ、経営も不振におちいっていく。この背景には、阿部屋の漁場経営の苦窮が存在していた。このために、阿部屋にとり本陣経営が負担となり、文久三年(一八六三)に本陣の差免を願い出、認められることになる。荒井金助は、八月九日にユウフツ詰の鈴木歳郎へ、以下のように連絡している(蝦夷地御用留　道図)。

　
　これにより、阿部屋の本陣差免は八月初旬とみられる。阿部屋はこの結果、出稼も停止となり漁場経営も禁止される。本陣差免のみと思っていたところ、この強硬な措置に驚いた阿部屋は、松前藩を仲介して箱館奉行に対し、翌元治元年(一八六四)五月十四日に、再び漁場割渡と本陣扱いの願を申請する。この中で、

と述べ、「御免」期間中の入用品は、返納すると申し出ている(五十嵐勝右衛門　函館日記留)。
　この元治元年三月一日に帰国の途次に、イシカリ入りした鶴岡藩士の原半右衛門は、その日記(蝦夷地記録)の中で、「当所本陣潰(つぶ)レ候哉のよし」と記するのは、右記の事情による。またここでは、「宿ハガノ字屋ニテ女十二、三人も居り、大あばらやなり」(一日)、「夜中がノ字買客参り、隣座敷ニテ大さわぎいたされ大閉口いたし、快く寝不申候」(二日)と記し、「がの字」(遊女)がイシカリに入っている様子を伝えている。
　阿部屋の本陣差免中は、宿泊は旅籠屋がいくつか出現していて困らなかったが、運送・通信に支障をきたすようになった。このため、イシカリ市中の住民組織である町会所が、「御通行取扱も市中一同にて相勤可申」(函館日記留)と、町会所が代行した。先に例証した荒井金助の鈴木歳郎への書簡が、町会所に連絡先を指定したのはこのことによる。
　このように本陣の経営をめぐり、阿部屋の動向は不安定なものがあったが、明治二年(一八六九)六月にも、漁場引上げ、「御通行取扱本陣守」が差免されている。これは阿部屋が旧幕軍に献金した嫌疑により処分をうけたものである。この後、本陣・通行取扱いは稲田屋富右衛門によりおこなわれる(村山家文書　御用留)。富右衛門はユウフツ場所請負人山田文右衛門の親戚で、本来、文右衛門に取扱いを命じたものであるが、富右衛門は文右衛門にかわって本陣をひきうけたのであった。本陣制度は明治五年(一八七二)一月に廃止となり、旅籠屋並と本陣の呼び名も改正となる。さらに四月に旅籠屋、五月に駅場、六年五月駅逓所と改称し、駅逓制のなかにくみいれられていく。阿部屋伝二郎は明治五年八月に、旧本陣の建物返還を請願している(村山家文書)。しかし、これは認められなかったようである。石狩駅逓所は明治九年五月に焼失するが、この建物は阿部屋により建てられた旧本陣であったろう。