幕末の江戸では、幕府と薩長両藩との対立と、大名江戸屋敷の終焉を象徴するような二つの事件が起こった。その一つは、元治元年（一八六四）七月に起きた長州藩毛利家の江戸屋敷没収事件である。文久三年（一八六三）の八月一八日の政変で京都を追われた長州藩は、翌元治元年七月に失地回復のため入京を狙ったが、薩摩・会津など諸藩兵に撃退された（禁門の変）。その後長州征討の勅命を受けた幕府は、開戦に先立って同藩の江戸、京都、大坂等の屋敷を没収したのである。
　文久二年に参勤緩和令が出されたあと、長州藩主毛利敬親（たかちか）（一八一九～一八七一）と嫡子元徳（もとのり）（一八三九～一八九六）の妻子らは江戸を離れて国元に下向し、江戸詰藩士の数も激減していた。桜田の上屋敷は内部の殿舎等を解体して表長屋を残すのみとし、屋敷守の藩士を置いて、他は麻布屋敷（この当時は中屋敷）に移った。支藩の長府・清末・徳山・岩国各藩も江戸屋敷の縮小を進め、残った一部の藩士は本藩の上屋敷内に仮住まいしていた。
　元治元年（一八六四）七月二六日、幕命を受けた庄内藩酒井家は、大砲隊を含む多数の藩兵と幕府の歩兵組二大隊を率いて屋敷の接収に当たった。政情不安のなか、長州藩江戸屋敷には数百人を超える浪人が集まっているという噂があったため、幕府は米沢藩・熊本藩など近隣に屋敷を持つ大名らにも警備の兵を出させた。
　しかし実際この時に桜田上屋敷にいたのは、わずかな屋敷守のほか、支藩から移り住んだ者たちだけであり、麻布屋敷を合わせても女子二人や老人・子どもを含む計一三六人しか残っておらず、屋敷地の接収は比較的短時間のうちに終わった。拘束された者たちは神田橋外の陸軍所に移されたが、移送の途中でそれを無念とする足軽二人が自殺をはかった。さらにその後、数家の大名屋敷に預けられてからは約二年にわたって拘留が続き、その間に五一人もの獄死者が出た。
　桜田・麻布の両屋敷は、八月八日からのべ約七〇〇〇人とも言われる町火消らによって、徹底的に破却された。麻布屋敷には建坪約二万坪におよぶ殿舎や長屋・諸施設が残っていたが、それらはわずか二日間でほとんど解体され、材木は焚き物として市中の湯屋に下げ渡された。重要書類やわずかな武器・弾薬類はそれぞれ幕府の関係部署に引き取られ、その他は越中島の調練所で焼き捨てられた。麻布屋敷からは、また多額の貯蔵金銀や米穀なども発見された。金銀の合計は、大判一〇枚、金八六五三両一分、銀八四枚および五九匁、銭四一三貫八六六文であり、米は玄米一二〇五俵、白米八一俵と七叺（かます）であった（「長州邸取毀一件」、国立国会図書館所蔵）。
　両屋敷の跡地は火除地として近隣大名に預けられたが、麻布の方は慶応二年（一八六六）五月に幕府勘定所に移管されて植物場となった。勘定所は敷地内に残っていた樹木や石材を入札にかけて一三七一両で売却し、その後茶の栽培を始めたが、ほどなく明治維新を迎え、新政府側に引き渡されることになった（𠮷﨑　二〇〇八a）。