元和5年（1619）重頼の長男として誕生。慶安3年（1650）父重頼の死により家督を相続。信仰心が大変厚く、承応2年（1653）大隆寺を建立。万治2年（1659）久津八幡宮を修復、同3年（1660）には古川杉本社殿（気多若宮神社）と千光寺を再興している。また、明暦3年（1657）の江戸大火の際、頼直を救った駿馬山桜の死後、頭骨を祀った。この大火の際、頼直は幕府に桧の角物千本を献上している。寛文3年（1663）2月、病のため剃髪して仏門に入り、自らは立軒（りっけん）素白と名乗った。平癒のために奉納された絵馬が日枝神社に遺っている。同5年（1665）7月18日、江戸邸にて死去、享年47歳。