寛文9年（1669）頼業の長男として誕生。幼名は万之助または万助。父の死により同12年（1672）、わずか4歳で家督を継ぎ、叔父の左京近供が後見役として実務を取りしきった。天和3年（1683）頼時と改名、のち頼旹となった。貞享4年（1687）頼旹の大酒、不作法を諫めるため家士田島藤五郎が自害するという事件も起きている。元禄2年（1689）4月、将軍綱吉の奥詰衆を、同年5月側用人を命ぜられたが綱吉の意にかなわず翌3年4月免職、翌4年6月には屋敷替を命ぜられた。そして元禄5年（1692）7月28日、出羽上山（かみのやま）へ移封を命ぜられ、ここに金森6代による飛騨統治は終わりを告げた。後、頼旹は同10年（1697）美濃国郡上へ転封して43年領国し、元文5年（1740）5月22日死去、享年68歳。