こうした悪路を進むうちに、竹芝寺にたどり着き、地元の古老からこの寺についての伝説を聞くことになる。その話によれば、御所に仕えていた武蔵国出身の衛士（えじ）が、皇女を連れてこの地まで落ちのびてきたという。皇女を取り返すことを諦めた父帝は、その衛士と皇女に武蔵一国を預けたところ、衛士は皇女のために内裏のような家を建てたが、皇女が亡くなった後、その家が寺になったのだという。またその皇女が産んだ子供たちは武蔵の姓を得たという。武蔵姓については、「武蔵国足立郡の人外（げ）従五位下丈部直不破麿（はせつかべのあたいふわまろ）ら六人に姓を武蔵宿禰（すくね）と賜ふ」（『続日本紀（しょくにほんぎ）』神護景雲元年〈七六七〉十二月壬午条）とみえ、以後、武蔵国足立郡の采女（うねめ）武蔵家万自（同宝亀元年〈七七〇〉十月癸丑条）、足立郡大領兼武蔵国造武蔵宿禰弟総（『類聚国史』巻一九・延暦十四年〈七九五〉十二月戊寅条）といった名もみえる。さらに足立郡といえば、『将門記』にも「足立郡司判官代武蔵武芝」なる人物が登場することが想起されるが（後述）、この竹芝伝説との関係は不明である。現在の港区内の地名「芝」にも通じると興味深いのであるが確証はない。
　近世期にこの竹芝寺の現地比定がなされるようになり、『江戸砂子（すなご）』が済海寺（さいかいじ）（三田四丁目）をその跡とし、『江戸名所図会（ずえ）』巻一でも、済海寺の隣の土岐侯の邸宅がその旧跡だと伝えつつ、また済海寺の北隣の隠岐家の別荘の地が竹柴（芝）寺の境内だとも伝えている。その根拠は、済海寺の山号が昔は亀頂山（きちょうざん）と唱えた（今は現地の人は亀塚の済海寺と呼んでいる）こと、その地に亀塚があることを挙げている。先に引用した『更級日記』のなかに、衛士の故郷には酒壺が多数置かれているという話があるが、その壺が瓶に通じ、亀とつながるというわけである。これはさすがに牽強付会の感が強いが、『柴の一本』では、庚申（こうしん）信仰に基づく庚塚（かのえづか）の転訛（てんか）だとしている。しかし残念ながらこれまた確たる根拠とはいえないようであるが、これらをうけて吉田東伍の『大日本地名辞書』（武蔵・芝区）は、三田あたりに故地を求めるのも無理ではないと結んでいる。