郷土歴史館の建物は、東京大学安田講堂を設計した内田祥三が昭和13年（1938）に手がけた旧公衆衛生院（現名称は国立保健医療科学院）である。文化財としても貴重な建造物であることから、保存・改修して活用することとなった。総床面積1万5155.20平方メートルのうち1万3394.94平方メートルが郷土歴史館となり、館内は「誰もが歴史や文化をとおして港区を知り、探求し、交流できる拠点」をコンセプトとして、常設展や特別展を開催する展示室（有料）、無料で観覧が可能な港区の歴史や文化の概略を知ることができる「ガイダンスルーム」、港郷土資料館の「さわれる展示室」のコンセプトを引き継いだ「コミュニケーションルーム」の他、ギャラリー、図書室の他、ミュージアムショップやカフェも併設している。港郷土資料館事業を継承しながら、より充実した施設を活用した講座やイベントなどの新たな取り組みも展開している。