先述したとおり、青山では天正一八年（一五九〇）に青山忠成が徳川家康から広大な下屋敷を拝領していた。忠成の後、宗家を継いだ忠俊（ただとし）は老中にまで昇進したが、彼は三代将軍徳川家光の勘気をこうむり、寛永二年（一六二五）に改易される。このためこの屋敷地はいったん弟の幸成（よしなり）が継承したとみられる。その後寛永九年（一六三二）に忠俊は赦免され、嫡子宗俊（むねとし）が再び召し出されたため、以後は忠成時代の下屋敷のうち、矢倉沢往還（やぐらさわおうかん）（街道、現在の国道二四六号にあたる）を挟んだ北側が宗家、南側が幸成系青山家の屋敷として分割されたようである。両屋敷とも時代が下るにつれて規模はしだいに縮小していったが、中核部分については幕末まで維持された。
　その他、青山では慶安五年（一六五二）八月一四日に三代家光の三男長松（翌年元服して綱重（つなしげ））が下屋敷を拝領している（権田原（ごんだわら）屋敷）。この屋敷は、宝永元年（一七〇四）に綱重の息子綱豊（つなとよ）が五代将軍徳川綱吉（つなよし）の養子となった（家宣（いえのぶ）と改名）ことで収公され、以後は分割されて幕臣の屋敷地に転じている。