江戸の市街地の南端部にあたる二本榎・高輪・白金は武家地としての開発も遅れる。「寛永江戸全図」白金・高輪部分（図1－1－2－4）には白金付近に上杉播磨守（はりまのかみ）、高輪付近に奧平美作守（みまさかのかみ）・松平帯刀（たてわき）という人名の記載が見えるが〈4－①～③〉、これらについてはほかの屋敷と違って境界線の記載が見られず、他の史料とも整合しないことから、後世の補筆であると考えたい。実際、下野（しもつけ）宇都宮藩奥平家（一一万石）は明暦二年（一六五六）七月一九日に、出羽米沢藩上杉家（三〇万石）は明暦三年（一六五七）五月一四日に、それぞれ当該地の屋敷を拝領しており、「明暦江戸大絵図」（図1－1－1－5）にも記載が見える（図1－1－2－5）〈5－①・②〉。

図1－1－2－4　「寛永江戸全図」白金・高輪部分
臼杵市教育委員会所蔵　一部加筆

　同図にはこれらに加えて、白金において熊本藩細川越中守（綱利（つなとし）、五四万石、父光尚（みつなお）が寛永二一年〈一六四四〉二月二七日に拝領）下屋敷〈5－③〉、高輪において遠江（とおとうみ）横須賀藩本多越前守（利長、五万石、明暦三年〈一六五七〉五月二七日拝領）下屋敷〈5－④〉が見え、この頃から少しずつ大名下屋敷が形成され始めていることがうかがえる。

図1－1－2－5　「明暦江戸大絵図」白金・高輪部分
公益財団法人三井文庫所蔵　一部加筆

　二本榎・高輪・白金は「万治年間江戸測量図」『寛文五枚図』（図1－1－1－6、図1－1－1－7）の範囲外にあたる部分が多く、絵図上では全体の状況が確認できないが、屋敷拝領の記録（東京市編　一九二八）を見ると、万治元年（一六五八）閏（うるう）一二月一九日に一〇名、寛文元年（一六六一）一二月一五日に六名の大名の下屋敷拝領が確認でき、この時期に下屋敷が急増していることがわかる。この一六名のうち一三名は石高五万石未満の小大名であったが、寛文四年（一六六四）一二月一五日には徳島藩蜂須賀家が白金において、寛文九年（一六六九）一一月二六日には薩摩藩島津家が高輪においてそれぞれ屋敷を拝領するなど、大身の大名も参入してくることになる。薩摩藩下屋敷はその後拡張され、幕末には地続きの抱屋敷などを含めて二万二三四七坪の広大な屋敷を構えるに至っている（「諸向地面取調書」一）。徳島藩の下屋敷獲得の経緯については後述する。