河野政通築城館跡の図 「函館沿革史」より
従って今日の函館市には、河野加賀右衛門尉政通の箱館と、小林太郎左衛門尉良景の拠る志海苔館の両館があった。両者の来歴については、あまりつまびらかにされていないが、河野政通は伊予の越智氏から出た河野氏の後裔とされ、加賀国江沼郡の出身で、のち流浪して南部の田名部に至り、前述のごとく安東政季に従って渡海し、宇須岸に館を築いたといい(『新羅之記録』『蝦夷島奇観』)、小林良景は家系図によれば、その祖先は万里小路藤房に仕え、祖父次郎重弘の時に蝦夷島に渡った(『蝦夷実地検考録』)とある。万里小路家と安東氏との関係は古く、すなわち、「正平十二(一三五七)年万里小路中納言藤房は都落ちして安東氏を頼り、官軍挙兵を企てたるも成らず、子息景房を津軽飯積(いいずみ)なる高楯に安東より分領なし、是に住はせて後、秋田に帰りて補陀寺の開基として入道し」(『亀像山補陀寺誌』)と伝えているから、あるいは小林氏もこれに従属して津軽に至り、次いで安東氏の系列に連なり、その役割を担ってこの地に渡り、志海苔に館を設けて在住するようになったとみることができる。
前述のように当時安東氏は、北条得宗領の御内人として幕府権力と結びつき、蝦夷を支配し、日本海沿岸部を結ぶ商品流通の活発な役割を果たしていた。しかもこの時代の蝦夷地は、農業を主体とする本土と比較するならば、極めて異質なものであり、ここに住む住民といえば漁労・狩猟民族であるアイヌと、これに雑居する和人であったが、その和人も史料に見られる範囲では、京から流刑された夜討・強盗・海賊のたぐいや、奥羽の戦乱に破れて流れついた武士、あるいは航海中難破した海民や山民といった、いわばそのころの本土の社会概念からすれば、非農民的集団であった。そして彼らは、いずれもアイヌと同じく原始的な漁労や狩猟を主とし、またはそれらの交易をもって再生産を支えていた。もちろん、当初は和人の集団も少なく、直援アイヌ社会を侵害する状態ではなかったが、交易自体においては両者の社会的発展の格差から、ともすれば略奪的な交易となる危険性は充分に考えられることであった。
それがため館主は、安東氏の出先機関として、従来から渡来していた和人や土着のアイヌが、生産の地域としている拠点を選んでそこに君臨し、彼我の争乱に備えるとともに、産物や交易の一部を役(やく、税)として徴収し、その得分のうちから何がしかの金銭または特産物を、安東氏(後には檜山安東氏)に貢進して、自らの職権や地位を確保してきたものと思われる。