江戸時代の最盛期には、推定人口130万人といわれた徳川氏の城下町であった東京府の人口は、明治2年（1869）の調査によると、50万3703人になった。天保14年（1843）は町人だけで、54万人余であったことから、そのさびれ方のはげしさをうかがい知ることができる。
　明治3年（1870）の調査によれば、町地16パーセント、武家地69パーセント、寺社地15パーセントであったが、町地、寺社地の住居地にはあまり変化はなかったから、この人口の減少状態からみて、武家地の荒廃がいかに大きかったかがわかる。
　
　旧幕臣悉く各所に流離転滞し、其の居宅皆変じて草木の薮（やぶ）となり、諸侯大中小の邸宅も荒廃を極め、八重葎（やえむぐら）軒を蔽ふ。（『市木四郎自伝』史談会速記録）
　
とあるように、広大な武家地は住む人もなく荒れ果てていった。
　そこで東京府は、郭外の範囲をひろげ、武家地を桑茶畑に転用することを奨励した。明治6年の調査によれば、政府が接収した大名・旗本などの地所約300万坪のうち、開墾邸宅地は110万坪、そのうちの12万坪が麻布、16万坪が青山にあった。「場末の至る所に桑の実や茶の白い花を見るにいたった」といわれるが、この桑茶栽培の政策も、桑茶の枯死や輸出の不振などにあい、失敗に終わったといわれる。
　芝の地は、武家地を商業地的転換によって発展させていったが、武家屋敷跡と農地の多かった麻布・赤坂方面では寂寥（せきりょう）たる状況が多くみられ、農耕や畜産的方向をとり、赤坂田町から氷川町一帯は「藩邸士地ノ如キハ一新後或ハ田圃（タンボ）トナル所」ある状態であり、白金付近も土地を他に転用する方法もなく畑地のまま放置していた状態であった（『新修港区史』）。
　この武家地の荒廃は、参勤交代制の停止以来はじまっていたが、旧幕臣の静岡県への移住（旧将軍の新領地への追従）が約半数もあり、各藩の武士がほとんど藩地へ戻った結果であった。
　駿府に移住した旧幕臣の生活は、徳川家の財政が困難なこともあって、家もなく町家や農家を間借したりして、わずかな品物を売って飢えをしのいだという。また、東京に残って士籍から離れたものは、「骨董（こっとう）屋」をはじめとして「貸食店、酒肆（さかや）、茶店、汁粉屋、蕎麦（そば）屋、鮓（すし）屋、漬物屋、紙屋、烟草（たばこ）屋、蝋燭（ろうそく）屋、乾魚屋」等の商売を始めたが、多くは「士族の商法」で間もなく失敗し店を閉ざす者が多く、福地源一郎の『懐往事談』によれば、「実に言ふに忍びざる程の情なき状態」であった。