ところで前九年の役で捕えられ、筑紫に流された安倍頼時の子宗任の語る「陸奥国安倍頼時行胡国空返語」が『今昔物語』に載っている。陸奥国の奥に住む「夷」が朝廷に従わず反乱を起こそうとした時、安倍頼時が「其ノ夷ト同心ノ聞エ」があって、陸奥守源頼義に攻められそうになったので、頼時は逃れられないと思い「此ノ奥ノ方ヨリ海ノ北ニ幽ニ被見渡ル地」があるので、そこに渡ってみて住みよい所なら、今ここで命をおとすよりはよいと郎党を引きつれて、船を出して渡り「左右遥ナル葦原ニテ」「大キナル河ノ湊ヲ見付テ」入ったが、人影も見えず、河は底も知らぬ沼のよう。それでも河の果てがあるだろうと三〇日程上った時、地が響くように思えたので、葦原にかくれて見ていたら、「胡国ノ人ヲ絵ニ書タル姿シタル者ノヤウニ」赤き物にて頭を結った者が馬に乗って出で来て、「歩(かち)ナル者トモ」を傍にひきつけつつ渡って行った。一〇〇〇騎程もあったかと思われる。「事ニアヒナハ極メテ益無シ」とて逃げ帰って来た。頼時らは「胡国」は「唐ヨリモ遥ノ北ト聞ツルニ、陸奥ノ国ノ奥ニ有ル夷ノ地ニ差合タルニヤ」と噂しあったという。
　同じ話が「よりときが胡人を見たる事」として『宇治拾遺物語』にも載せてあり、この話をもって明治四十四年刊行の『札幌区史』は「胡人を見たりと云ふは、其国は北海道、其胡人はアイヌ人にして、其大江とは石狩川となすや否やにあり」と記している。
　海保嶺夫は「安倍頼時が『胡国ノ人』と認識しているのは、渡島蝦夷とは異なった人びとであった可能性を示すもの……『胡国』とは石狩低地帯以北の地であったと考えられ……律令国家期の『粛愼』、王朝国家期の『胡国』、中世国家期の『唐子』、幕藩制国家期の『山丹』は北方地域の人びとのうちで大陸文化の影響を強く受けている人びとを表現している点で一系列上に位置する言葉である」としている。