金村は宣化天皇・欽明天皇の両朝にも引きつづいて大連の任にあった。欽明天皇元年（五四〇）九月五日に、難波祝津宮（なにわのはふりつのみや）行幸に許勢臣稲持（こせのおみいなもち）・物部大連尾輿（もののべのおおむらじおこし）らとともにしたがったとき、天皇は諸臣に、どれくらいの兵卒を用いれば新羅を討つことができるか、と問うた。物部尾輿は「少許（すこしばかり）の軍卒をもては、易く征（う）つべからず。曩者（むかし）、男大迹（おおど）天皇（継体）の六年に、百済、使を遣して、任那の上哆唎・下哆唎・娑陀・牟婁、四県を表請（まう）す。大伴大連金村、輙（たやす）く表請（まうし）の依（まま）に、求むる所を許し賜ひてき。是に由りて、新羅の怨嚝(（うら）むること積年（ひさ）し。軽爾（たやすく）して伐つべからず」といった。尾輿らから三韓政策の失敗を指摘された金村は住吉の宅に引きこもり、病と称して朝廷に出仕しなかった。

　難波祝津宮の位置について、『摂津志』は摂津国河辺郡難波村（尼崎市難波本町）とし、吉田東伍の『大日本地名辞書』は西成郡難波村（大阪市浪速区）とするが未詳である。『釈日本紀』巻一三に引く『天書』に、欽明天皇元年九月己卯に難波に行幸し、「庚辰、祝津宮に進幸す。使を遣して住江神を祠し、民爵、及び帛を賜ふこと各差有り。初めて将に新羅を征せんとす」とみえる。金村が引きこもった住吉の宅は、『摂津志』に摂津国住吉郡堺北荘高州浜に宅跡があると記すが、たしかなことではない。秋里籬島の『摂津名所図会』（巻一）に「鷲住王塚」の項で「住吉より五町許り北、街道の東にあり」と記したつぎに「大伴金村塚」の項を立て、「同所にあり。土人此両塚を帝塚山といふ。又手支（てつか）山とも呼んで、諺に、むかし住吉神と聖徳太子と地を争ひ給うて、ここにて手をつかへ領地を定め給ふなりとぞ。これ妄談にして取るに足らず。此所一堆（いったい）の岡山にして、西は滄溟渺々（そうめいびょうびょう）とし、南は岸姫松・住吉の社頭、北は天王寺の嶫々（ぎょうぎょう）たる梵刹（ぼんせつ）連（つら）なり、東は阿部野の隴々（ろうろう）たる風景炳然（いちじる）し。弥生の頃は、近隣ここに来って游宴の地とす。鷲住の旧蹟は住吉の下にあり。金村の旧宅は堺北荘高洲浜の東なり。此人詔をうけて真鳥を滅し、武烈帝崩じて皇嗣なし。大跡王を越前国三国より迎へて皇胤を立て、欽明帝元年、退いて住吉の第に居す。金村の子大伴狭手彦（おおとものさてひこ）は、詔を承けて兵士数万を将（ひき）ゐて高麗（こま）を攻むる。遂に国中を平治して大に功あり」と記し、金村宅跡に関する『摂津志』の記事を引用している。

　欽明天皇は青海夫人勾子（あおみのおおとじのまがりこ）を金村の宅に遣わし、ねんごろに慰めさせたが、金村は「臣が疾（や）む所は、余事に非ず。今、諸（もろもろ）の臣等（まへつきみたち）、臣（やつこらま）を、任那を滅せりと謂（まう）す。故に恐怖（かしこま）りて朝（つか）へざるのみ」と答え、鞍馬（かざりうま）を使節に贈って厚く敬意を表した。青海夫人はそのままを天皇に奏上し、天皇は「久しく忠誠に竭（つく）せり。衆口（ひとのくち）を恤（うれ）ふること莫（まな）（世人の言うところを気にするなという意味）」といい、金村を罪しなかった。『書紀』には天皇が金村を「優（あつ）く寵（めぐ）みたまふこと弥（いよいよ）深し」と記されるが、実際は物部尾輿らからの非難を受けた金村は失脚したとみられている。

　金村は安閑天皇に屯倉（みやけ）の建置を奏請し、欽明天皇元年に失脚しているところからみれば、継体天皇崩後の二朝の対立では安閑・宣化朝側に立っていたと考えられており、安閑・宣化朝の敗北も金村を没落させる要因となり、金村を没落させた物部氏が政界で勢力をふるった。しかし新興の蘇我氏が現れ、両氏がしのぎを削ることになる。