幼名を源之進といい、はじめ友傳(つぐ)と称したが、その後友隨と改名。延享四年二月五日江戸麻布下屋敷で出生。八代友明の二男で、九代友清の弟である。宝暦五年友清の順養子となり、同八年二月二七日嗣子となる。明和二年一二月一八日近江守に任ぜられる。安永六年一一月八日家督を継ぎ、その後大坂加番を勤めた。
友隨は寛政二年家臣両人ずつをよび出し、みずからその心得方を申渡した。この諸士心得申渡書はながく遠山家中心得として生きつづけた。寛政四年一二月二一日隠居。文政四年七月八日七五歳で没す。友隨はその生前先代友清の嫡子虎五郎友福(よし)を養って嗣子と定めたが、友福が天明七年二七歳で没したので、その子友壽をこれにあてた。