ある年、この怪僧が出羽国の羽黒山に行こうとして下野古峰ケ原付近に現われ、黒峰、白峰あたりをたどって谷間に一軒の人家を見出し、これを尋ねて芋と麦飯の馳走になり案内を受けて掛合宿に至った。
この他、下野各所に彼が飛来したことを伝えているが、日光の女峰登山口にある行者堂には前鬼後鬼を従えた小角の像が一本歯の高下駄姿で安置されているし、芭蕉の「奥の細道」のなかにも、元禄二年(一六八九)四月十二および十三の両日鹿子畑桃翠とともに余瀬を逍遙し、余瀬の修験光明寺の行者堂に参詣したときの句に
「夏山に足駄を拝む首途(かどで)哉」
がみえる。
今は当時の光明寺も滅び、行者堂などもなくただ僅かに昔の面影だけを残しているのみであるが、このような昔の夢物語りだけは古びゆくままにされている。
これらの伝承は世俗に伝えられるままを述べたものであるが、日本書記の斉明天皇元年(六五五)五月の条に
「空の中に龍に乗れる者あり。貌(かたち)、唐人に似たり。青き油笠を著く、葛城嶺より馳せ胆駒山に隠れ、午後に至りて、住吉の松の嶺の上より西に向いて馳せ去りぬ。」
と記され、このように日本書紀にまで取扱われたことからも、まことに怪奇を極めた人物というべく、日本霊異記、扶桑略記、元享釈書など、みなまことしやかにその行動が記されている。
また、文武天皇は韓国広足(からくにのひろたり)をして小角について修業させ、ひそかにその行動を監視させたところ、彼はやがてその妖術を看破し、衆をまどわすものとして奏上したため、天皇は兵を送って捕えさせようとしたが、彼はたちまち雲に乗って何所にか飛び去った。よって小角の母を捕えたが、これを知った彼は自ら出て縛についたため、勅してこれを伊豆に流し数年の後に許されて国に帰り、いつしか母を伴って海を渡り唐に行ったと伝えられるのみで、その後の消息は全く不明となっている。