そしてこの(安倍)高丸を介して、安藤氏が、奥州のかつての覇者安倍氏の系譜につながることとなる。安藤氏が安倍氏の子孫を自称したのは、北奥において、その支配者として強烈に意識され続けた安倍氏の系譜に連なることによって、自らの北方世界ないし蝦夷支配の拠り所とするためであろう。
　ただこれが事実かどうかにという点は、やはり極めて難しい問題である。『陸奥話記』に登場する安倍氏一族のなかに安倍富忠なる人物がいるが(史料四四五)、のちに安藤氏の重要な支配領域であった宇曽利(現在の下北半島北部)と密接な関係を有していることが知られている。そこでこの富忠が、実際に安藤氏の祖であった可能性もないわけではないが、証明は難しい。
　ただ中世において、南の辺境の固めという、北の安藤氏と類似した役割を果たした九州の松浦(まつら)氏(党)が、やはり安倍氏の末裔であるという伝承を持っていることは注目に価しよう。『平家物語』やその関連史料中には、筑紫へ流された安倍宗任の子孫が松浦党であるという記述がみえている。