関ヶ原（せきがはら）の戦い後、福島氏が備後・安芸を一時的に支配しましたが、元和5年(1619)からは水野氏が福山藩10万石(備後7郡と備中の一部)を治めるようになりました。元禄（げんろく）11年(1698)に水野氏は5代目藩主に跡継ぎが不在のため断絶し、翌年領地が再検地された結果、旧福山藩領は15万石と算出されました。（その時の検地帳（けんちちょう）は各村に控えが保管。上下地区に関係するものは市指定）元禄13年(1700)に旧福山藩領は二分され、10万石は新福山藩領(松平氏、後に阿部氏)、5万石は幕府領となりました。上下と備中笠岡には代官が置かれ、上下代官(初代：曲淵（まぶち）市郎右衛門)は、安那郡・神石郡・甲奴郡の計71か村(約4万石)を管轄しました。
享保2年(1717)、備後の幕府領のうち約2万石が豊前中津藩領(奥平氏)に編入されました。それに伴い、上下代官は廃止され、石見銀山大森代官所（おおもりだいかんしょ）（島根県大田市）の出張陣屋に改められました。出張陣屋には、大森代官(島根県大田市、石見銀山（いわみぎんざん）も管轄)配下の手付（てつけ）・手代（てだい）3～4名が派遣されて、神石郡・甲奴郡の計22か村を管轄しました。その後、幕末には神石郡・甲奴郡の13か村と備中12か村を管轄しています。
こうした代官所・陣屋の機能を維持するためには、さまざまな諸経費をはじめ公用に関する人馬等の供出(助郷役（すけごうやく）)などが必要ですが、これらは支配下の村々の負担とされていました。
上下陣屋の図
〔明治2年（1868） 数字は畳数〕
上下代官所跡の発掘調査
明治時代になり上下陣屋は廃止され、跡地には明治6年(1873)に学校(考按舎（こうあんしゃ）)が建てられ、その後も保育所や役場として利用されてきました。この間、昭和16年(1941)には「天領（てんりょう）上下代官所跡」として、広島県史跡に指定されています。平成16年(2004)には府中市と合併し、上下支所として利用されていましたが、平成19年(2007)に支所が別の場所に移転し、解体工事されることに先立って、遺構の残存状況を確認するために発掘調査を行いました。
明治2年(1869)の絵図などの検討から、敷地の北側では、現在の石垣の内側に代官所の時期の石垣と石段が存在していると想定していました。調査の結果、江戸時代の代官所の石垣と石段と明治時代の学校の石段と思われる痕跡を確認しました。石の積み方から見て、検出された石垣は幕末頃に築かれ、その後石段が築かれていると考えられます。さらに、学校として利用されている頃に、古い石垣の石を再利用しながら、石段の下端の位置に合わせて新しい石垣を築くと同時に敷地を拡張しています。この工事は、明治21年(1888)に寄付金800円をかけて大改築したものの可能性があります。また、現在の石垣は、昭和の初め頃築造されたものと思われます。
代官所跡に建つ上下尋常高等学校
（明治末）
発掘調査で確認した石垣
（幕末頃か）