港区は、区設置当時の面積約17・2㎢（その後、埋立地の編入などで現在は20・37㎢）の中に約二三〇もの町丁目がひしめきあう、都内随一の小町の密集する土地柄であった。加えて、芝区・麻布区・赤坂区の三区統合をめぐって混乱を来したという特殊事情もあったため、長い間旧三区ごとの住民感情が融和するには至らない状況が続いていたとされる。また、都心区という性格上、住民の転入転出が多く、新住民に対して新しい町名を諮問し、意見を尊重するという作業を十分に行うことが困難という事情もあった。地形的にも、麻布地区や高輪地区は山や坂、崖が多く住民の隣保的関係が各所で遮断されているため、街区の設定には多くの問題を抱えていた。町名のあり方をめぐっては、いわゆる「山ノ手」地域の住民と「下町」地域の住民では考え方も相当違っていたようである。
このような背景事情から住居表示事業を実施するにあたって、実際に港区内で懸案となったのが「町名」と「街区の設定」、および「住居表示の実施可否」の三点であった。
まず「町名」をどうするかについてである。前節で見たように、港区内の町名には地名に芝・麻布・赤坂などの旧区名や東西南北・元町新町などを冠したり付けたりするものが非常に多かった。そのため、住居表示を進めるにあたって、どの地域の街区がメインとなる地名を使用できるかどうかが一つの焦点となったようである。高輪地区では、この町名変更方針について同地区の議員が区役所に問い合わせたところ、区割りした住民からの申請が早い順に決まるという説明を受けて急遽（きょ）住民説明会を開催し、町名を「二本榎」にするか「高輪」にするか協議した結果「高輪」が多数であったためすぐ申請し、昭和四二年（一九六七）七月から「高輪」の住居表示になったとされる。
また芝大門地区では当初、昭和四六年七月に区が議会に提出した議案では「芝神明」の町名で一丁目と二丁目に集約する予定であったが、住民の半数近い約一五〇〇人の署名で変更請求が六件も出された結果、区議会では当初案の「芝神明」ではなく「芝大門」を町名とすることとなった。白金地区でも、昭和四三年に白金一〜六丁目および白金台一〜五丁目への町名変更が告示された際に、一部の町会から反対運動が展開され、町名の変更請求が出された。ただし、公聴会の場での公述人によれば、反対理由は町名・町域の原案の妥当性ではなく、区側の態度が非民主的であったことに端を発したものであったということもあり、最終的には区議会で原案どおり可決、計画どおりに住居表示が実施された。
「街区の設定」をめぐっては、愛宕地区で問題が発生した。この愛宕地区の周辺は、昭和五二年の住居表示実施によって芝琴平町・芝西久保桜川町・芝西久保明舟町・赤坂葵町・芝神谷町・芝西久保城山町・麻布市兵衛町がすべて「虎ノ門」として括られたが、愛宕町住民はこの地名の使用を拒否し、愛宕という地名を残すことに固執し、後述する麻布永坂町・麻布狸穴町住民による反対運動と同様に抵抗を続けた。その結果、住居表示の実施自体は受け入れ、一丁目・二丁目の設定はされたものの、町名は「虎ノ門」ではなく「愛宕」とされた。