猪名部氏についての伝承はまず、『日本書紀』応神天皇三十一年八月条につぎのようにみえる。
　　　新羅からの使が貢物を献上するために我が国に来て武庫の港に停泊していたとき、失火で多くの船舶を焼失してしまった。我が国がその責任を追求したため、これを聞いた新羅王はひじょうに驚き、代償として技術に巧みな工匠を献上してきた。この工匠が猪名部の祖先にあたるのである。
　この伝承は、事実かどうか不明であるが、猪名部が渡来系氏族であることや木工技術に熟練した氏族であったことは推測できよう。
　この氏族は五世紀ころ我が国に来たといわれるが、その後大和朝廷の支配下で土木建築や手工業品の生産などに従事するいわゆる職業部民として編成され、朝廷の建築事業や造船事業に使役されたようである。
　彼らが猪名部とよばれたのは、我が国で最初に住んだ所が猪名川下流の両岸一帯で、現在の尼崎市猪名寺から北にかけてのあたりを中心とする地域であったからと考えられている。この氏族が猪名川下流域に住みついたのは、すでにしるしたように猪名川上流には山林があり、そこで切りだされた木材が猪名川を使って運ばれ、下流で集積され、その木材を利用して土木工事や造船工事を行なうのに便利だったからと思われる。
　ところで『日本書紀』雄略天皇十八年八月条には、物部菟代（もののべのうしろ）宿禰所有の猪名部が物部目連に与えられたことがみえ、この記事から、猪名部は一時期物部氏の支配下にあったこともうかがえる。
　この猪名部はすでにしるしたように職業部民であるところから、その統轄者である伴造氏族の猪名部首によって管理されていた。猪名部首については、『姓氏録』の摂津国諸蕃の項に百済の中津波手の子孫とみえている。この記事から渡来者系氏族であることがわかるが、一つ問題となるのは、同じ『姓氏録』の未定雑姓摂津国の項で、この氏族について「伊香我色乎命の六世の孫、金連（かねのむらじ）の後なり」とみえることである。
　伊香我色乎命は神饒速日命の六世の孫といわれており、そうすると祖先を物部氏の祖先の神と同じくする神別の氏族となってしまう。この結果、同じ猪名部首でありながら、一方は諸蕃の、もう一方は神別の氏族が存在したことになる。ところが、『姓氏録』をみてゆくと、左京神別の項に「猪名部造、伊香我色男命の後なり」としるされており、前の未定雑姓摂津国の猪名部首と祖先が同じなのである。
　さきにもふれたように部民である猪名部は伴造に管理されているが、伴造の氏族の姓は一般に造が与えられている。この点からみれば猪名部の伴造は猪名部造ということになろう。しかしそうすると猪名部首という氏族はどんな位置にいたのであろうか。
　考えられることは、現地にいて猪名部を管理している伴造が猪名部首であり、京にいて猪名部首の上部から管理していたのが猪名部造であったのではないかということである。
　つまり摂津国では猪名部首によって猪名部が管理され、京での技術工事にさいしては、猪名部造が全体を管理監督したということになるのではなかろうか。さきの『姓氏録』の記事からもわかるように、猪名部首は渡来系の者が選ばれたと考えられるが、時には猪名部造の氏族のなかから選ばれて摂津に住むこともあったのではなかろうか。このような氏族間の動きが『姓氏録』の猪名部首の項に渡来者系氏族と神別の氏族という二つの記事のできる原因になったと思われるのである。
　またさきにしるしたように、猪名部首の祖先神である神饒速日命は物部氏の祖先神と同一であることから、物部氏が猪名部を管理し支配していたとして、猪名部造を上級の伴造、猪名部首を下級の伴造とみて、のちの律令制的な支配形態が存在したのではないかとの説もあるが、これはかならずしも一般には認められていないようである。