檜物荘は、藤原頼通の代からその存在が知られるが、その後頼通は家領を平等院（京都府宇治市）、妻隆子（高倉殿）、息師実（もろざね）、娘寛子（四条宮）に処分した。檜物荘は、寛子に処分されたらしい。その後、寛子の家領は、忠実（ただざね）を経て娘の泰子（高陽院（かやのいん））に伝領される。これ以後、檜物荘を含めたこれらの家領は、高陽院領と呼ばれることになる。
　高陽院泰子は、この時期の摂関家の政治的立場を象徴する人物であった。すでに後三条（ごさんじょう）天皇を経て、白河（しらかわ）上皇の院政が開始されており、摂関家は往年の権力を失なっていた。保安（ほうあん）元年（一一二〇）、泰子の入内（じゅだい）問題がこじれ、忠実は関白を罷免（ひめん）させられる。翌年、忠実はその処分が解かれ、関白は嫡男忠通（ただみち）が継ぎ、忠実は宇治に籠居したままであった。このことは、上皇が摂関家に対し絶対的に優位に立ったことを現わしている。
　ところが、大治（だいじ）四年（一一二九）白河上皇が死去し、鳥羽（とば）上皇が院政を開始すると、状況が変わった。前（さきの）関白忠実は、内覧に復活し、長承二年（一一三三）泰子は鳥羽上皇のもとに入内した。高陽院領は、泰子の後宮生活の費用をまかなうために処分されたものである。
　しかし、忠実の復活は、摂関家に新たな危機を作り出した。忠実の息、関白忠通との対立である。忠実は、もう一人の息頼長（よりなが）と結び、両者は抜差し難い関係となっていく。ここに保元の乱（ほうげんのらん）以降の内乱へと向かう道が作られていったのである。
　地方では、武士の力が台頭してきており、甲賀郡でも、永久（えいきゅう）二年（一一一四）源義光（よしみつ）が山村（本カ）・柏木両郷を「御勢を募らんがため」に摂関家に寄進しており、清和源氏と甲賀郡とのかかわりが知られる（『平安遺文』補四〇・四一号）。また、宇多天皇から出た近江源氏も各地で実力をたくわえつつあった。
　また、摂関家は、家領の人々を舎人（とねり）として宿直警備や雑役をさせるため上京させた。平治（へいじ）元年（一一五九）閏（うるう）五月から六月にかけての「高陽院方舎人当番支配」（『兵範記』仁安（にんあん）二年十月・十一月裏文書、『平安遺文』二九八四号）によれば、高陽院領の近江・摂津・和泉の三国から二六八人が上番し、近江国はそのなかでも二〇六人が上番している。鎌倉時代、建長（けんちょう）五年十月二十一日付の「近衛家所領目録」（『鎌倉遺文』七六三一号）によれば、近江国の高陽院領は檜物荘のほか、甲賀郡信楽荘、神崎郡柿御園、栗太郡田上輪工の四つからなっており、檜物荘からも多くの人々が上番していたと思われる。彼らは、摂関家の政所、納殿、紅工所に配置された。「高陽院方舎人当番支配」の作られた平治元年といえば、十二月に平治の乱が起こっており、彼らも戦乱に巻き込まれたであろう。
　ところで高陽院領は、保元の乱で後白河天皇側についた忠通が伝領し、その後摂関家は、忠通の長男基実（もとざね）（近衛家）と三男兼実（かねざね）（九条家）の二家に分れると基実が伝領し、以後代々近衛家の家領として相続される。