慶長三年（一五九八）、上杉景勝(かげかつ)の会津移封のあと、豊臣秀吉に取りたてられた関一政(かずまさ)が飯山城に入り、長野市域の長沼付近もふくむ水内郡北部と高井郡北部の三万石を領した。慶長五年からの、森忠政の川中島四郡一円支配のあと、同八年には、松平忠輝の付庸(ふよう)大名皆川広照(ひろてる)が飯山城に入り、水内・高井両郡の北部四万石を領した。

　慶長十五年、松平忠輝は越後福島城（上越市）へ移封となり、そのさい川中島四郡の一部を割いて、飯山城に堀丹後守直寄(たんごのかみなおより)が四万石で入封(にゅうほう)した。以後享保二年（一七一七）二月に本多氏が入封するまでの約一〇〇年間は、めまぐるしいほど領主が交替する。この間、ときの領主の拝領高によってそのつど飯山領の領域も変動した。水内郡のうち浅野（豊野町）以北はほぼ一貫して飯山領に属したが、高井郡の北部と水内郡千曲川沿いの村々は領主の拝領高によって加除された。

　大坂の陣が終わり戦乱の時代が幕を閉じ、いわゆる元和偃武(えんぶ)の時代が到来すると、堀氏は荒廃した村の再建と治水・新田開発に力をそそいで、農業生産基盤の整備につとめた。千曲川流域の未開発の沖積地に着目し、高井郡を横断して流れる松川の治水や、延徳沖（中野市・小布施町）の開発、下木島・野坂田新田（飯山市）などの開発事業につとめた。こうした農業施策は以後の飯山諸領主にも受けつがれる。堀氏の時代に、飯山藩政は本格化したといえる。

　堀氏にかわって元和二年（一六一六）、佐久間備前守安政(びぜんのかみやすまさ)が飯山で二万石、ほかに近江・常陸に一万石で入封した。同時に長沼に入った佐久間勝之の兄である。だが、寛永十五年（一六三八）三代藩主安次(やすつぐ)が死去すると絶家となった。翌寛永十六年、松平万助（のち遠江守(とおとうみのかみ)）忠倶(ただとも)が遠江掛川（静岡県掛川市）から飯山に入った。千曲川をはさんで水内郡二万石、高井郡二万石、計四万石である。六歳で入封し、元禄九年（一六九六）に亡くなるまで飯山藩政の確立につとめた忠倶のあとは、孫の忠喬(ただたか)がつぎ、宝永三年（一七〇六）ふたたび遠江掛川に転封となる。以後の飯山藩主は、おおむね松平氏の治政を踏襲した。

　松平氏にかわって飯山に入封したのは、播磨赤穂(はりまあこう)（兵庫県赤穂市）から移った永井伊豆守直敬(なおひろ)で、水内郡に二万三〇〇〇石、河内(かわち)国（大阪府）に一万石であったが、わずか五年で武蔵国岩槻(いわつき)（埼玉県岩槻市）に転じた。ついで正徳元年（一七一一）二月、青山大膳亮幸侶(だいぜんのすけよしとも)が摂津尼崎(せっつあまがさき)（兵庫県尼崎市）から、水内・高井両郡に四万八〇〇〇石を得て入封した。旧松平氏領四万石をほぼ受けつぎ、それに長沼領廃絶のあと幕府領に編入されていた水内郡の長沼四ヵ村（内町・上町・栗田町・六地蔵町）、高井郡では若宮・松川（中野市）、矢島・押切（小布施町）など千曲川東の一一ヵ村が加わった。青山氏も在城わずか七年で、享保(きょうほう)二年（一七一七）二月に丹後宮津(たんごみやづ)（京都府宮津市）へ転封となる。

　かわって本多若狭守助芳(わかさのかみすけよし)が、越後糸魚川（新潟県糸魚川市）一万石から二万石に加増されて飯山に入った。拝領高が青山氏の半分以下となったため、領域は水内郡替佐(かえさ)（豊田村）から水沢（飯山市）のあいだの二六ヵ村と、千曲川をはさんで高井郡立ヶ花（中野市）から木島（飯山市）までの二四ヵ村に縮小された。飯山領からはずれた村々は幕府領にかわり、青山氏時代に飯山領となった長沼四ヵ村もふたたび幕府領となった。拝領高が倍増した本多助芳は、この移封をたいへんよろこんだものの、まもなく領内に千曲川水害常襲地帯がふくまれていることが判明し、悩むことになる。享保六年から連年、飯山城下をはじめ木島平・水沢平（飯山市）、延徳沖の村々が水につかり、年貢米の減収はもとより、幕府に千曲川の普請を命じられ、たちまち財政困難におちいった。

　このような事態にたまりかねた助芳は、享保八年十一月、幕府老中に所領替え地を願いでて奔走し、翌九年八月、替え地が発令された。水内郡の水沢平七ヵ村と、千曲川対岸の高井郡立ヶ花から下木島・野坂田にかけての二二ヵ村の水害村を幕府に返上し、かわって新たに水内郡北部の戸狩(とがり)（飯山市）から温井(ぬくい)（同）の山付き一八ヵ村と現在の三水村・信濃町・牟礼村と豊野町方面一六ヵ村、長野市域の吉村・田子村（若槻）と三才村の一部、計二七ヵ村を受領した。三才村は幕府領と分け郷となった。田子・吉・三才の三ヵ村は、田子池を共通の用水源としている。これ以後、飯山領の領域は固定し、領主交替もなく幕末までつづいた。飯山領では永井氏からあとの領主交替のつど、村々から村明細帳を提出させていた。享保九年の所領替えのさいも、新知の村々から差しださせて、支配の基礎とした。

　本多氏飯山藩は、領内を三支配所に分け、それぞれに代官とその下役を置いて村方支配にあたらせた。北部の温井から飯山城下までの三一ヵ村を城下外様(とざま)組、現在の三水村・信濃町方面一一ヵ村を山ノ内組、静間(しずま)（飯山市）から千曲川沿いに三才・田子まで一五ヵ村を川辺(かわべ)組とした。文化二年（一八〇五）以後は、外様組と城下を分けて四支配所とした。

　村々には庄屋・組頭・百姓代を置いて村政にあたらせた。三才・田子・吉の各村には、庄屋・百姓代はおのおの一人であるが、組頭は三才村は一人、田子・吉村には二人いた。また、ときには「惣代」とよばれる複数の村々をたばねる庄屋が置かれ、藩との折衝や地域のとりまとめにあたった。幕末には「取締役」が置かれ、地域の村々をたばね、藩政の末端をになった。安政六年（一八五九）、川辺組には南郷村の内山五郎太夫をはじめ五人の取締役がみられる（『県史』⑦一一六八）。慶応二年（一八六六）、田子村付木(つけぎ)買入人の売買不正にかかわる規定書には、「川辺御取締」として南郷村の五郎太夫が、田子村・平出村など関係村々庄屋とともに奥書(おくがき)に連印している（『県史』⑦一一七〇）。