しかし、この出雲伊波比神社は、果たして奈良朝時代からこの地に鎮座していたのであろうか。『入間郡誌』に記するところによると、この神社はもとは飛来明神と称して、毛呂氏代々の守護神であったようであるとし、
然るに、延喜式神名帳によれば、入間郡五座の神の内、出雲伊波比神社の名ありて、その所在明らかならず、ここに於て維新の頃、勤王家権田直助等、熱心に主張する所あり、遂に飛来明神を改めて、出雲伊波比神社と称するに至れり。
なお、古代史学者原島礼二氏の適切な記事を紹介すると、
毛呂山町の出雲伊波比神社は、中世から近世にかけては「茂呂大明神」「毛呂明神」「飛来明神」「八幡社」などとよばれた。天正一六年（一五八八）の小田原北条氏の文書には「茂呂大明神」となっており、伊藤勇人氏によれば、出雲伊波比神社と記される始まりは、文化八年（一八〇〇）刊の斎藤義彦著「臥龍山宮伝記」からだという。また、文政一一年（一八二八）成立の『新編武蔵風土記稿』は次のように記している。
飛来明神社 八幡宮と並ぶ。あるいは毛呂明神ともいい、社領十石の朱印を賜わっている。このことから考えると、この明神は地主神なのであろう。（中略）飛来とよぶのは、社伝によると、昔季綱親王が当国へ下向したとき、氏（うじ）の神がそのあとをしたって飛びきたったためだという。もとよりとるにたりない説である。季綱は毛呂太郎季綱のことで、親王とよぶいわれはない。天正年中、小田原北条氏より寄付の証文が伝えられており、それには「茂呂大明神」と書かれている。この点からみると、この神が元来、毛呂氏の氏神であることはいうまでもあるまい。また堂山村（越生町堂山）にある最勝寺所蔵の大般若経奥書に「延徳四年（一四九二）六月二十八日、於臥竜山蓬来神書継之」と書かれている。飛来はおそらく、この蓬来を誤り伝えたのではなかろうか。（谷川健一編『日本の神々』関東所収）
なお、入間市宮寺にも出雲祝神社がある。祭神は、毛呂山の出雲伊波比（いずもいはひ）神社が大名牟遅（おおなむち）神・天穂日命（あめのほひのみこと）を始め二〇柱であるが、ここでは社伝によると、「当社は、日本武尊が東夷征伐の時、当地小手指原に至り給い、天穂日命・天夷鳥命（あめのひなどりのみこと）を祭祀して、出雲伊波比神社と崇敬せられた社であり、式内社であることは世々古老の口碑に確伝している。」とあるが、『入間郡誌』はこう伝えている。「（宮寺村）南中野にある。もとは寄木明神と称し、村人は今も〝ヨリ井様〟と呼んでいる。然るに、たとえ数回も焼失したとはいえ、社の体裁が古色深く、また祭神が素盞鳴尊（すさのおのみこと）であることなどから、延喜式神名帳に載せてある出雲伊波比神社であろうとの説が出て、近年に毛呂村の飛来明神と共に、出雲伊波比神社と称するに至った。」こうなると、出雲伊波比神社は古代にはいずれに鎮座したのか、郡衙の西北にあるというものの、方向測定の基準となる郡衙の所在が判明しないので、この両座の式内社論争も結着つかないままである。