頼之は南朝の講和派の中心人物楠木正儀(まさのり)と連絡をとりながら和平交渉をすすめた。南朝の後村上天皇(一三二八-一三六八)がなくなり、長慶(ちょうけい)天皇が即位すると、その翌年(一三六九)正儀は、北朝がわにつくことになる。長慶天皇は強硬派であり、正儀と意見があわなかったのであろう。そして長慶天皇は、皇太弟となった、のちの後亀山(ごかめやま)天皇とのあいだに、和平問題をめぐって深刻な対立があったようである。
　頼之の地位も政治の最高責任者としての管領(かんれい)とよばれるようになった。しかし諸大名たちは、頼之が楠木正儀を積極的に支援したことに対し強い反感をもつようになり、康暦元年(一三七九)二月、彼らは連署して義満に対し、頼之の追放をせまった。ついに頼之は、執政十二年で失脚して帰国する。斯波義将が管領になり、政界地図は塗りかえられた。その変化は、おそらく土岐と佐々木(京極)両氏の斯波派に転向したことが決定的原因となったろう。