専斎については、これまで取り上げられることが多い官僚ではなかったが、しかし「『衛生』という言葉をきくと長与専斎を思い出す」（土方久元）、「衛生局の歴史は、即ち長与の歴史である」（鶴見祐輔）との評価に見えるように、専斎の果たした貢献は大きい。
長崎から上京した専斎は神田の借家を転々とするなかで、麻布宮村町（現在の元麻布三丁目）に土地を購入し、家の建築を始めた。通称「内田山」と呼称される場所であった。（図1-5-コラム-1）
専斎の購入した土地は遠く品川湾を望む景勝の地で、山の大部分は雑木の密林で、東南の一角だけが耕され、春は青々とした麦畑となり、初秋の候には色様々な朝鮮菊が美しく咲いた。専斎はこの山に立ち並んで生息する二本の槇（まき）の巨木が気に入り、「買山依様不論銭」（買山依様（やはり）銭を論せず）といって購入する。広さはおよそ三六〇〇坪ほどであった。専斎がこの地に住み始めた頃は、裏の林では雉が鳴き、庭先には狐が現れ、付近には百姓家が一軒あるのみで寂しい場所であったが、のちには大小さまざまな屋敷が構えられていった。「内田山の雷親爺」とささやかれた明治の元勲、井上馨もこの内田山に居を構えた一人であった。
専斎の内田山の邸宅は、和洋折衷で、欧化主義の尖端をいっていた。一五畳ほどの寝室やゆったりとした食堂から連なる「六角堂」という白薔薇を絡ませたベランダを擁（よう）した。この六角堂からは専斎の書斎や日本座敷へと通じる廊下が設置されていた。専斎は妻と家系図（図1-5-コラム-2）にみえる八人の子どもたちとともに、この地で一家だんらんを楽しんだ（図1-5-コラム-3）。長男の称吉（しょうきち）は日本で胃腸専門の病院を始めたことで知られ、次男の程三は横浜貿易で活躍、三男の又郎（またろう）は東大総長、四男の裕吉（ゆうきち）は戦後の共同通信や時事通信の基盤をつくり、五男の善郎（よしろう）は白樺派の作家として活躍する。娘たちは、長女の保子は松方正義の子息巌の夫人として、次女の藤子は夭逝（ようせい）するが、三女の道子は平山金蔵夫人として称吉の始めた胃腸病院の継承に貢献する。多くの兄弟に囲まれ育った末っ子の善郎は、この内田山の邸宅でストーブの前に母と並ぶ父、専斎の膝の上に乗って、その白く長い顎鬚（あごひげ）をぐいぐい引っ張りながらなしていた親子の交流を述懐する。
専斎は日本の人々の健康増進の実現に一生をささげたといっても過言ではない。そして健康のための活動は自らも実践した。その一つが海水浴であった。専斎は鎌倉に別荘を持ち、夏になると一家で出向いた。長与家では朝と夕方、別荘近くの海辺に出かけ、子どもたちは海で遊ぶと朝食と夕食が待っていた。明治二七年（一八九四）の夏も藤子は兄たちと鎌倉に出向き、海に入ったものの引き潮にさらわれ数日後、遺体となって専斎のもとに戻った。藤子の死は長与家に衝撃となり、母の園子は鎌倉はおろか海さえも見るのが嫌になったという。
専斎は明治二四年に初代内務省衛生局長の職責から解放されてはいたが、この出来事を機に一層隠逸の士にふさわしい心境と風貌を備えるようになった。子どもたちの成長を見た内田山の邸宅から、同じ麻布の日ヶ窪（現在の六本木六丁目）に新居を構え、引っ越しをする。
内田山の邸宅が西洋主義の先端を駆けた衛生官僚を象徴するような洋館の印象が強かったのに対して、日ケ窪は純日本風の表現がふさわしかった。中国六朝時代の陶淵明（とうえんめい）が官途を改め隠逸の生活をして過ごしたことにあやかり、自らの書斎のある一棟を「小陶盧」と名付けた（図1-5-コラム-4）。
大阪の適塾以来の親友で、「水魚の交わり」と称され、やはり港区域で活躍した福澤諭吉が明治三四年に長逝（ちょうせい）すると、専斎もそのあとを追うように翌年、この世を去った。享年六五歳。 （小島和貴）
図1-5-コラム-1 長与専斎の邸宅場所
上の○印が日ヶ窪、下が内田山
明治20年（1887）の地図をもとに作成
図1-5-コラム-2 長与専斎家系図
小島和貴『長与専斎：1838-1902（長崎偉人伝）』（長崎文献社、2019）から転載
図1-5-コラム-3 長与専斎家族写真（明治26年〈1893〉）
［長與専斎］著『松香遺稿』（長與又郎、1934）から転載 資料提供：国立国会図書館
図1-5-コラム-4 日ヶ窪の書斎
［長與専斎］著『松香遺稿』（長與又郎、1934）から転載 資料提供：国立国会図書館