すでにみてきたように、在住は蝦夷地開拓の中心的役割をになわせられながら、箱館奉行からは決して重く扱われる存在ではなかったばかりでなく、士分以外からすら軽視されることが少なくはなかった。安政四年にハッサム在住と農民が入植すると、唯一の物資供給源である阿部屋は売り値を一斉に値上げした。豆腐一丁一五文が四〇文となり、塩鱒一本一二～一三文だったのが一〇〇文にまでなった(松浦武四郎　燼心餘赤)。さらに安政六年八月、在住頭取栗本鯤は、箱館奉行あて在住士切米扶持方渡方の件で箱館奉行あて願書を提出したが、この中で栗本は、箱館在住の困窮について述べ、そのため「町人共ニ手を下ケ膝を屈候様相成、夫故か在住士は御咎を蒙り、貶謫ニ逢候者と相心得候ものも有之、毎々意外の侮を受候ニ付」(幕末外国関係文書)と、そのおかれた実状につき述べている。これをうけて箱館奉行は、同年十月に老中へ蝦夷地在住人切米扶持方渡方の件で伺書を提出したが、その中で蝦夷地在住は近来米価引上げも加わって「当日営方ニも差支、請負人共ニ借財出来いたし候様ニテは、弥以侮を受、何とも歎ケ敷次第ニ有之」(同前)と、大筋として栗本の趣旨に添った状況認識を示した。在住は、この時期拓殖の最前線での活動を行うべく位置づけられながら、官からも民からも、その困難性に相応する処遇を受けていなかったことになる。
　しかしこれは、在住制制定時からつきまとっていた問題でもあった。すなわち制度の節で記したように、安政二年十二月の老中尋書およびこれについての箱館奉行の意見の時点で、すでに在住に対する不信の念ともいうべきものがみられる。それは一つには、関係文書中にも旗本、御家人等を蝦夷地に移して鍛練し、「強健壮実ニて奢侈安逸之風なく一廉御用立候人物数多出来候得は」(幕末外国関係文書)などと表現されているように、旗本、御家人の柔弱化という認識であり、他の一つは、在住志願者は困窮者が多数という予想からで、箱館奉行自体の在住の取扱いにも、それが明確に示されている。たとえば安政三年三月、すなわち一般の在住任命に先立って、箱館奉行は「箱館調役下役以下不精者ハ、無役ニいたし、蝦夷地在住申付、離島遣し候趣、内規にいたし置度」(公務日記)と伺い、同年六月に箱館掛四人、同心二人が、「心得違之儀有之候ニ付」として蝦夷地在住を申し渡されており、さらに「此度初て之事」(同前)と注記されているが、八月にも調役下役人一人が蝦夷地在住を命じられている。このほか病気と届け出て出函したイシカリ在住について、出函を認めた現地調役の処置を心得違いとした上、箱館に到着した在住の病体見届けを命じたり(公務日記)、在住入地の際、各地を穏便に通行したかを報告させたりしている(加藤知章　東西蝦夷廻浦風聞書)。奉行としては軟弱でかつ困窮した士分の者が、果たして期待どおりの活動を示すかという危惧があり、そのためもあって在住を他の幕吏と区別してみる傾向が強かったといえる。このような奉行側の態度が商人などの軽侮を助長し、在住の士気低下を招いたことは想像に難くない。