西行は保延六年(一一四〇)に出家してからまもなくと、文治二年(一一八六)とに東国方面を旅行した。西行の生涯の事跡や伝説、逸話を小説風に記したのが『西行物語』で、別に数種の絵巻がある。『西行物語』は作者不明であり、『西行法師絵詞』・『西行記』・『西行四季物語』・『西行一生涯草紙』などといわれている。「実記」でないことは黒川春村(一七九九-一八六六)が証明している(『日本文学大辞典』)。その絵詞に、
　
「東の方さまへゆくほとに、遠江国天竜のわたりにまかりつきて、舟にのりたれは、所なし、おりよと鞭をもちてうつほとに、かしらわれて、ち(血)なかれてなん」
　
とあり、満員の渡船から西行は鞭で打たれたうえ、降ろされたという。
　約百年のち、阿仏尼が建治三年(一二七七)の『十六夜日記』に、
　
「廿三日、天りうのわたりといふ、舟にのるに、西行がむかしもおもひいでられて、いと心ぼそし、くみあはせたる舟たゝ一にて、おほくの人の　ゆきゝにさしかへるひまもなし、　水の淡の浮世にわたる程をみよ早瀬の小舟棹もやすめす」
　
とあって、西行が池田渡船場での事件は伝説だが描写されている。

中世交通要図