この当時の檜物荘の荘園構造については、残念ながら関係史料がなく全くわからない。但し、承安（じょうあん）元年（一一七一）十一月九日付小野為遠田地売券（『平安遺文』五〇五三号）によれば、檜物荘に寄人（よりゅうど）がいたことが知られる。この史料についてくわしくみていくと、小野為遠（おののためとお）は、下毛野為貞（しもつけぬためさだ）から蒲生郡桐原（きりはら）郷の土地一段を買得し、長年所有していた。ところで、為遠は比叡山延暦寺東塔の増善房から負物（ふもつ）（借物）を借りたが返済できなかった。そこで為遠は、先の土地を増善房に渡すため記したのがこの文書である。この文書の後半に、「但し、為遠檜物御庄の寄人なり。然（しか）ると雖（いえど）も、彼（か）の田地以後の日、檜物と号し、一切煩（わずら）い云うべからず、兼（かね）て又（また）、他の妨げ有るべからず。」とあり、為遠が檜物荘の寄人であったことが知られる。
　ところで、為遠はなぜわざわざこのような文章を記したのであろうか。これは、当時の寄人の身分的なありかたとそれに関連して生じた社会問題が背景となっている。
　寄人とは、荘園のうちにあって貢納物を上納する人であるが、貢納物が農業生産物である場合や、木製品のような非農業生産物である場合など、その土地によって違う。一方、彼らは別の荘園の田堵として農業に従事したり、他の権門と身分を結ぶ場合があり、有力な上層農民である場合が多い。平安時代中期以降、これらの人々は一元的な身分支配を受けることなく多様な生産活動の場を獲得し、それぞれの領主に一定の貢納物を契約することによってその経営を行なってきた。
　しかし、寄人などが、貢納物の未進や犯罪などにより、所持していた私領が没収される場合がある。このとき、彼らは複数の領主との身分関係をもっているため、領主間の相論へと発展していることがあった。檜物荘寄人の小野為遠が、田地売却に際して、前述の文章を記したのは、この土地が摂関家や檜物荘荘官などに干渉されるおそれがあったからである。このようにこの時期の土地に対する支配は、常に動揺しており、田地の耕作も「片あらし農法」という隔年で耕作する農地が多く存在し、経営が不安定な面もあった。延暦寺の山僧による金融資本が及んでいたのも、この点とかかわるであろう。
　檜物荘には、為遠のような寄人が多数存在したと思われる。檜物荘の貢納物からみて、彼らは木製品を加工する集団であったのかもしれない。