錦織の西南方の高燥な高台に、聖音寺という廃寺がある。明治七年無住となったが、この寺は柿本人麻呂の創建といわれ、寺域の東隅に自然石の歌碑がある塚があり、人麻呂塚とよばれた（549）。江戸時代の享保年間に記された『河内志』は、これを河俣人麻呂の塚であろうとした。これを万葉歌人として有名な柿本人麻呂の塚と推断したのは、万葉集の研究家で知られる土屋文明である（土屋文明『万葉集私見』）。
柿本人麻呂は持統朝の宮廷歌人の代表者であり、挽歌にことにたくみで、数多くの歌を残している。しかしその経歴は不明な部分が多く、その死去年も死没地も不明である。ただ人麻呂はその死に臨んで、
223鴨山（かもやま）の 磐根（いわね）し纒（ま）ける 吾（あれ）をかも 知らにと妹（いも）が 待ちつつあらむ
と詠み、妻の依羅（よさみ）娘子は、
224今日今日と わが待つ君は 石川の 貝に交りて ありといはずやも
と嘆いたことが知られる。『万葉集』巻二の223の詞には「石見国に在りて臨死の時」とあるから、石見で死去するか重病となったことは確かである。224の「石川」を石川郡の石川とみれば、そこで死去したと考えられる。ただし石川はそれほどきわ立った固有名詞でもないから、石見国に石川があったとすれば、石見国死去説となる。斎藤茂吉（『柿本人麿』）は石見説をとり、土屋文明は河内説をとる。梅原猛（『水底の歌』）も石見説で、223の詞を素直によめば、石見説が有利である。
人麻呂の塚と称するものは各地に多く、大和にも天理市櫟本と北葛城郡新庄町の二カ所がある。柿本氏は春日・櫟井・布留氏ら和爾（わに）後裔氏族で、本貫地の墓としては櫟井のものが地理的には合致する。しかし墓誌の項でみたように、本貫地を遠く離れる例もあり、北葛城郡には鴨氏の分布が知られ、鴨山の地とも考えられるから、新庄説も否定できない。一番否定しやすいのが錦部説であるが、これを河俣人麻呂とするのも疑問である。河俣人麻呂以外に奈良時代には河俣を名のる例はなく、人麻呂も「河内国人」とのみ記されているだけだからである。あえて推測すれば、『古事記』綏靖巻に「師木県主の祖河俣毘売」があり、志紀郡人かもしれない。