以上のごとく伊奈忠尊の失脚は、幕府に対する不遜とお家の内紛が直接の原因であったが、これを客観的にみると、関東郡代伊奈家の廃絶は必然性を内包していたとみても過言ではない。つまり将軍のお膝元である関東は、江戸を含めて伊奈郡代の領国の観があり、これが関東の農政を再編成しようとはかっていた幕府の大きな桎梏となっていたようである。すなわち関東郡代と江戸町奉行、ならびに勘定奉行との対立はしばしばのことであり、幕府職制上の問題ともなっていた。たとえば、江戸町奉行との関係をみると、「有司勤仕録」に関東郡代の職掌は「江戸の橋々ならびに近郷海道筋悉く支配なり、宅に役所これあり、是を引請これを捌く事也、其司る所町奉行の如し」とあり、通常でも町奉行の職掌領域とかなり重複する面をもっていた。ことに非常事態のときはまったく伊奈の独断場の観があった。

　天明六年（一七八六）は全国的な飢饉にみまわれ米価は異状に騰貴した。このため翌七年にかけては全国各地に窮民による打ちこわしの暴動が発生したが、江戸においても同年五月はげしい打ちこわしがおこった。このとき江戸町々の混乱状態を収拾するため、窮民救済の総指揮者に任ぜられたのが関東郡代伊奈忠尊であった。忠尊は幕府の下賜金二〇万両をもって諸国から米穀を買集め、これを芝・麹町・深川・浅草の四ヵ所で窮民に廉売し、見事にこの難局を処理した。

　さらに幕府はこのとき、江戸商業市場に関係をもつ「運上冥加」の実態調査を関東郡代所へ依嘱し、江戸町人の苦情引請所としている。これらは本来江戸の町人や商人にかかわる施策であるので、町奉行が管轄すべき仕事であった。当時の一識者はこの間の事情を次のごとく批判している。すなわち「町人どもの御救いは先祖の積徳をもって伊奈半左衛門に任ぜられた。しかし米穀の調達は関東郡代が昔から事馴れた役であるので当然であるが、郡代が江戸町人に直々接触して交渉をもつようになっては、町奉行の存在は有名無実になってしまう。しかも町々が静穏に戻ったとき、町人の尊敬はひとり郡代伊奈に集中するので、その後の町奉行による施策はきわめてやりにくいものになろう」とのべている（植崎九八郎上書）。

　事実、着任早々の町奉行石河土佐守正武にとっては、「伊奈半左衛門世上の沙汰は宜しく、町人共雌伏致ス」という状態は決して快いものではなかったろうし、まして「江戸町のものども半左衛門役所へ出入の儀、其時々両番所へ届に及ばず候」という町触がだされては我慢がならなかったであろう。これによって町奉行所は公にないがしろにされ、いつもなら訴訟事などで多忙な町奉行所も閑古鳥がなくありさまであったといわれる。

　間もなく事態が平常に復したためか、難民救済や運上調査の役務は町奉行の管轄に戻されたが、非常時には郡代伊奈氏でなくてはできない隠然たる力があったのである。この力とは何であったろうか。まず第一に伊奈は「百姓は勿論、町人に至る迄」非常に人気があると為政者間に認識されていたこと、第二に伊奈氏は度々の一揆鎮圧に功あり、忠尊自身もその経験者であること、第三に関東郡代としての積年の実績から短期間に米穀を江戸に集中させる機能を持っていたこと、第四に、この期の江戸市場の構造が、関東農村と密接な関係をもつに至ったことなどが考えられる。

　ことに伊奈の江戸廻米に関しては、「後見草」によると、伊奈が「米穀運送の惣司」に任ぜられるや、「此殿助け参らせんと日々四方の国々より御府内に運び入、是によりて五穀忽ち豊饒となる。扨其時の有様は、船の印に伊奈といふ文字白地に赤く染出し、船毎に押立しは秋の木の葉の浮ぶが如く、海河狭と見渡しりぬ」とある。この記述には誇張がみられようが、その人気の一端を窺うことができよう。そして、なによりも江戸の経済構造が、広く関東農村の地廻り経済を背景として密接に結びついていたことを考えたとき、関東農政の元締である伊奈を、どうしても江戸市政に関与させる必要があったであろう。幕府は、幕府の威信にかかわるこの職制上の矛盾を、何とか解消しなければならない時期にきていたのである。

　つぎに関東郡代と勘定奉行との関係をみてみよう。そのはじめ徳川家康は初代忠次を代官頭に任じたとき、その誓紙前書の第一条に「関八州は我物の如く大切に仕るべく」とかれに書かせたが、この伊奈家の伝統的な信条は後々まで支配地を我物の如く、領国的に管轄する色彩を濃厚なものとした。この大名的代官ともいうべき伊奈の特殊性こそ、関東に一揆・飢饉・天災などの非常事態が起きたとき、その収拾に有効的な措置を講ぜしめた根源であった。しかし同時にその特殊性は、享保改革以降整備されつつあった地方役人機構の枠内からはみ出るものとなり、職制上の矛盾がいつかは表面化する性格のものであった。

　ことに享保十八年十二月、伊奈家八代忠達は、それまで勘定奉行の支配下から老中支配の勘定吟味役上首格となったが、本来代官・郡代は職制上勘定奉行の支配に属すものである。しかしかれを老中支配という別格扱いにしたことは、地方役人機構の整備をめざした享保改革の担当者でも、伊奈の有している近世初頭以来の特殊性を無視することができなかったのである。そこに矛盾が露呈される発端が生じていた。関東郡代として管内の徴税や民政を担当する限りでは、勘定奉行の指揮下にあったが、同時にかれは老中直属の勘定吟味役上首格として、勘定奉行と対等の立場でもあった。つまり同一人が勘定奉行に対し職制上二つの異なった地位を持ったことになる。伊奈家のこの昇進コースは、以後ほぼ慣例化するが、一二代忠尊の頃になると、この職制上の矛盾の欝積によって、関東郡代と勘定奉行との関係は非常に悪化した。

　たとえば、天明六年の関東大洪水のとき、難民救済のため忠尊は、勘定奉行桑原伊予守盛員とともに大いに活躍した。ところがこの手柄はすべて勘定奉行のものになったので、かれの功績はかくれてしまった。したがって忠尊は「勘定奉行の支配下でははなはだ仕事がしずらいことばかりである、いくら骨折っても無駄になってしまう」と嘆息していた。このため幕府は天明七年の江戸打こわしの処理を忠尊に命じたとき、御小姓番頭格という過分の格式をかれに与え、勘定奉行配下とは別に独自に活躍できる条件をつくってやったのである。

　このほか上層農民の掌握にあずかって力のあった郡代役所公金貸付や、伊奈流と称され広く用いられた治水灌漑における広範な伊奈の権限は、いずれも関東農政の再編を企図した幕府の意志を阻害するものになっていた。すなわち商品経済の展開によってはげしく揺れ動く関東農村は、強大な力をもってこれを支配している伊奈がいる限り、幕府の統制もこれに及ばず、幕府の威信が失墜する恐れがあった。こうした数々の政治的な背景から、ついに伊奈家は幕府によって見放されたとみられる。

　こうして伊奈忠尊が失脚した後、関東郡代職は勘定奉行の兼役となり、大貫次右衛門をはじめ五人の代官が郡代付となって関東幕領農村を分治支配した。ついで文化二年（一八〇五）には勘定奉行直属の関東取締出役が設置され、翌文化三年三月には関東郡代制が廃止されるに至った。そして文政十年（一八二七）に至ると、水戸領を除いた関八州に、いわゆる「文政改革」が施行され、幕領・私領・寺社領の区別のない一円領域の取締組合が結成された。この改革組合は、関東取締出役と直結した取締り機構で、幕領・私領を問わない関東一円支配体制への含みをもった重要な支配機構の変化といえる。この意味では、江戸のすぐ近くで大名的存在を誇示していた伊奈は、早くから幕府にとって邪魔な存在であったに違いない。したがって、伊奈の失脚事件、および関東郡代制の廃止は、いわゆる「文政改革」の大前提だったと思われる。