関ヶ原（せきがはら）の戦い後、福島氏が備後・安芸一円を一時的に支配しましたが、元和5年(1619)からは水野氏が福山藩10万石(備後7郡と備中の一部)を治めるようになりました。元禄（げんろく）11年(1698)に水野氏は5代目藩主に跡継ぎが不在のため断絶し、翌年領地が再検地された結果、旧福山藩領は15万石と算出されました。（その時の検地帳（けんちちょう）は各村に控えが保管されており、上下地区に関係するものは市重要文化財に指定されています。）元禄13年(1700)に旧福山藩領は二分され、10万石は新福山藩領(松平氏、後に阿部氏)、5万石は幕府領となりました。上下と備中笠岡には代官が置かれ、上下代官(初代：曲淵市郎右衛門)は、安那郡・神石郡・甲奴郡の計71か村(約4万石)を管轄しました。
　享保2年(1717)、備後の幕府領のうち約2万石が豊前中津藩領(奥平氏)に編入されました。それに伴い、上下代官は廃止され、大森代官（おおもりだいかん）(島根県大田市、石見銀山（いわみぎんざん）も管轄)配下の手付（てつけ）・手代（てだい）3～4名が上下出張陣屋（ではりじんや）に派遣されて、神石郡・甲奴郡の計22か村(幕末には神石郡・甲奴郡の13か村と備中12か村)を管轄する体制に変わりました。こうした代官所・陣屋の機能を維持するためには、さまざまな諸経費をはじめ公用に関する人馬等の供出(助郷役（すけごうやく）)などが必要ですが、これらは支配下の村々の負担とされていました。

上下陣屋の図〔明治2年(1869)〕


現在の上下代官所跡