高松藩二代藩主松平頼重（よりしげ）（一六二二～一六九五）は、拝領から五年後の寛文九年（一六六九）にこの屋敷に移り住み、延宝元年（一六七三）に隠居した後は、江戸在府中のほとんどの時間をそこで過ごした。以後、この屋敷は歴代藩主の保養の地となり、隠居した家族などもここで余生を送った。
　江戸中期、藩財政の再建に尽力した五代藩主頼恭（よりたか）（一七一一～一七七一）は、殖産興業をはかる基礎として博物学や本草学を重視し、国元高松の名園として知られる栗林（りつりん）荘（現在の栗林公園）に薬園を設け、平賀源内（一七二八～一七八〇）らを頭取として取り立てて、領内各地から様々な植物を集め栽培させた。目黒の下屋敷にも薬園を開き、源内らを江戸に伴って差配をさせ、自身も在府中、月に三度は現地に出向き、そのまま作業小屋に入って草木の手入れや道の普請などを行ったと伝えられている。
　明治期になるとこの下屋敷の跡地には海軍の火薬庫が置かれ、ついで白金御料地、朝香宮邸を経て、アジア・太平洋戦争後は自然教育園に引き継がれたため、今でも古くからの地形や自然環境がよく残っている。園の正門を入って間もない所にある土塁は、白金長者と呼ばれる室町時代の土豪の居館跡といわれ、奥寄りの低地には江戸の庭園の名残と思われる池がある。その周囲には、樹齢約三〇〇年という「物語の松」などの大木がそびえ立っており、園内各所にはかつて薬園で栽培されていたとみられる植物が自生している。中でもトラノオスズカケという植物は、四国・九州の温暖な地のみに生育する希少種であるが、植物学者牧野富太郎（一八六二～一九五七）はそれを昭和七年（一九三二）に再発見し、頼恭の頃に国元から移植されたものと推定した。　　（宮崎勝美）