古来、犯罪は穢(けがれ)を生じさせる行為であると考えられてきた。境界の地に犯罪者を流刑にするのは、穢を境界の地に追放する祓(はらえ)の行為でもある。これは、近世武家法の遠島にまでつながる日本固有の観念であった。
　このように、境界の外には、流された穢がそこに充満しており、その地域の住民も穢にまみれた存在であって、都人から見れば、その地の住民は畏怖の対象としての「鬼」と見なされてきた。
　後述するが、安藤氏の祖として知られる安日も、外浜に追放された「鬼王」として妙本寺本『曽我物語』(史料一一五六)に載せられている。
　また中世の蝦夷史料として貴重な『諏方大明神画詞』にも、「日ノ本・唐子ノ二類ハ其地外国ニ連テ、形躰夜叉ノ如ク変化無窮ナリ、人倫・禽獣・魚肉ヲ食トシテ、五穀ノ農耕ヲ知ス、九沢ヲ重ヌトモ語話ヲ通シ堅シ」とみえている(史料六一七)。また近世の神楽祭文の中に、鬼の呪宝を「エゾノタカラモノ」とする例があることも注目される。
　では内と外との境に位置する、境界世界に住む人については、都人からどのように認識されていたのであろうか。もともと境界とは、境外性と境内性を兼ね備えた両義的な場である。境外の異域と通じるところもあれば通じないところもあるのでなかなか難しい。
　境界の地の住人について当時書かれたものを見てみると、たとえば『平家物語』巻二の伝える鬼界島(西の境界の地)の住人については、「をのづから人はあれども、此土の人にも似ず。色黒うして牛の如し。身には頻に毛おひつゝ、云詞も聞しらず。男は烏帽子もせず、女は髪もさげざりけり」と描かれ、『諏方大明神画詞』では、日本からの移住者の子孫とされる「渡党」について「渡党ハ和国ノ人ニ相類セリ、但鬢髪多シテ、遍身ニ毛ヲ生セリ、言語俚野也ト云トモ大半ハ相通ス」(史料六一七)と描かれていて、いずれも境内の人との相違点が強調されてはいるものの、境界の地の住人はあくまで「人」であって、「鬼」ではないとされている。
　鬼界島の住人が「色黒うして」と描かれているのは、逆に東の境界の住人安倍貞任が、『陸奥話記』において「其長六尺有余、腰囲七尺四寸、容貌魁偉、皮膚肥白也」(史料四五四)と、色白とされている点と比較して興味深い。
　このように、境界の地は、そのすぐ向こうが鬼の住む恐怖の対象地であることから、やはり特殊な地域とは見なされていたものの、人が近づくことができる地域でもあった。境界の外には鬼が住むゆえに、内なる世界には存在しない珍奇な品々(先に触れた「エゾノタカラモノ」のようなもの)が多数ある。それを入手できる唯一の窓口として、都人から重視された地域でもあったのである。