相澤伴主は、『新編武蔵風土記稿』に採録された天正十四年（一五八六）松田憲秀印判状に「三百文　相澤屋敷ニ出、就付送ニ」（資一―810）とあるように、後北条氏時代に関戸宿で伝馬にたずさわっていた旧家の出身であった。関戸宿は近世に入って関戸村と呼ばれ、相澤家は伴主の祖父の代から幕領の名主役を勤めていた。
　祖父の了栄（法名）は、先述した内藤重喬の『避暑漫筆』によれば、「明和、安永の頃ハ追々驕奢募り、在々ニ而有徳の人繰芝居を好ミ、或ハ、歌舞伎を取立、あるいは人形浄るりを好ミ、多人数集メ興行いたし多分失墜を懸相楽ミ、既に関戸相澤、小野宮内藤、真光寺榎本、押立河（川）崎、石田土方、日野宿佐藤、柴崎中島、岸村某、永井村某等各頭取いたし座頭と唱へ候」とあるように、相澤家は筆頭に挙げられるほど遊芸好きであったことがうかがわれる。了栄は、このほか、関戸観音寺前の六観音、『江戸名所図会』の挿絵小山田旧関関戸惣図に描き込まれている道しるべなどの造立者で、裕福であったことが知られる。
　父の五流（一七四六～一八二二）は、多摩郡初の法眼位をもつ地方絵師であった。法眼というのは僧位に準ずる称号で、法印に次ぎ、法橋を下とする位であって、中世以降、儒者、仏師、医師、連歌師、画工などに授与された。幕府御用の奥絵師でさえ、法眼止りの者が少なくなかったという。その事績は、時宗の本山藤沢の清浄光寺の枢要な地位を振り捨てて、二度に渡って関戸村の延命寺に隠居した学僧春登上人の『関五流七十賀俳諧集』の序文と、春登の『花水吟草』（府中市猿渡守文家文書）の「法眼五流翁墓碑」に、五〇にして隠居し以後は思うまま趣味に生きたとある。このことは、永年の友である内藤重喬の前記祝賀俳諧集の詞書と、同じく飯能の「心友」大河原夷彦の跋文も、これを裏付けている。それにもまして、数多くの遺作がその事を証明している。
　伴主（一七六八～一八四九）は五流の長男で、文政十年（一八二七）彼の揮毫による高幡不動への発句奉額の裏面に別筆で「関戸邑（村）住姓源相沢氏字直貞通称源助小字伴主別号潭雲斎即心軒敬書」（傍点＝筆者）と記してある。八〇歳を過ぎた頃の自画像（多摩市教育委員会所蔵・杉田勇家旧蔵）が現存するが、右に鞠、左に花鋏を前にして、自讃に「鞠はよく人を無心になす、花をめつる事亦しかり」とあり、生花とともに蹴鞠を愛好していたことが知られる。当時、江戸の料亭に蹴鞠場が設けられているところがあり、地方にもそういう例があった。「文化四年（一八〇七）丁卯の春三月、千人隊小池勘兵衛、蹴鞠場を宅中に設け、華麗を尽せり、庚隊の什長に属し、中野村に住居す。家頗る余財あり、驕奢、節を踰ゆ、是に於いてか、嗜欲を蹤にし、蹴鞠場を構営し、四本懸を植ゑ、華麗を尽せり。肝煎の隊長の萩原又四郎、之を聞きて詰問す。勘兵衛答ふるに辞無く、卒爾として場を毀つ。（後略）」（塩野適斎『桑都日記続篇』）の記事が見える。伴主の場合、江戸滞在中に修得し、帰京しては自邸の庭で独り鞠を蹴ることを楽しんだのであろう。
　父五流からは庭雲流という、石酔（赤水）の假山水の作庭法を受けたといわれる。弟令輔（花嶽）が婿入りした金井村（町田市）の神倉（藏）家の庭園は、残された伴主唯一の作庭であるが、満点星つつじの植込を主としたおだやかなもので、庭雲流の伝書のおもかげはうかがえない。この令輔も絵師で、日蓮宗の本山身延山久遠寺に涅槃像図を寄進したが焼失し、現在はその縮写したものが相模原市の青柳寺に所蔵されている。
　伴主は和歌にも堪能で『明治三十六歌撰』の一人に挙げられた、六所宮（府中市大国魂神社）神主猿渡容盛（一八一一～一八八四）が慶応二年（一八六六）に上梓した武蔵と相模の歌人を網羅した『類題新竹集』に、故人としてその和歌が採録されている。また伴主は書にもすぐれ、関戸在住の書家土井真澄が『相澤伴主の書に就いての寸感』（『杉田勇家所蔵文書（一）』）で指摘しているように、一〇歳年長の良寛を彷彿させる能書家であった。先述した文政十年（一八二七）の高幡不動発句奉額の揮毫をはじめ、『鈴木平九郎良湖追悼句集』（仮題）（『多摩のあゆみ』七一）、『関五流七十賀俳諧集』（仮題）（資二文・寺）、『允中挿花鑑　乾・坤』（同前書）の板下を書いている。絵も允中挿花鑑の花図にみられるように、絵師の子に恥じない腕前である。伴主は、その時代の文化人が文人と呼ばれ多芸多趣味であった例に漏れず、芸においても趣味においても幅広く、かつ卓越していた。これは家が裕福であったことも一因であろうが、それ以上に関戸の地が中世以来鎌倉街道の要衝であったという伝統と、江戸時代に入っては甲州道中の脇往還の立場に格下げされたものの、常に文化に接触し得る機会に恵まれていたためであろう。
　なお、子の源次郎忠主は伴主についで幕領の名主役を勤め、日野宿寄場組合の小惣代であった。明治三年（一八七〇）段階では、「祖父源次郎午七十二歳、戸主同国同郡府中宿利三郎忰ニ而明治二年巳二月源次郎養子ニ成相澤四郎午十八歳」とあり、のちに府中宿戸長を勤めた有竹利三郎の息子が養子になっている。また、明治二十三年の多摩村誕生に際し、村長選に僅か一票差で破れた小林祐之もかつては相澤家の養子であった。その後、明治中期の源左衛門の代に相澤家は関戸を退転した。多数の文書類もその際散逸し、その一部が市内寺方の杉田勇家に残されていたが、現在は多摩市教育委員会の所蔵となっている。したがって、全盛期の持高、家の経営内容などは一切不明である。相澤家の菩提所は寺方の寿徳寺であった。歴代の墓碑は関戸の観音寺に現存する。