武蔵野丘陵淀橋面の東端で、南北に続く部分の両側に及んでいる地域である。高輪の語源については諸説あり、江戸城攻撃の小田原北条軍が防備の上杉軍と会戦したのが現在の高輪台上で（高縄原の合戦）、当地の高所の縄を引っ張ったような真っ直ぐの道という意味の「高縄手道」が略されたという説がある。高輪の範囲は中世には現在よりも北方に広がり、近世に下高輪だけが高輪になったとされる。
明治二年（一八六九）に門前・代地などの町名を整理して付近の町に統合するとともに芝二本榎一〜二丁目を新たに設置、同五年には武家地・寺社地に町名を設定していったが、既存の町へ統合したほか、芝二本榎西町、白金丹波町を新設、下高輪の村名を町名とした。当時は白金丹波町、白金村、芝二本榎西町、白金猿町など一部荏原（えばら）郡に属していたところもあった。芝の冠称の廃止と再冠を除けば、三田台裏町が昭和二八年（一九五三）に三田台町三丁目となったのが大きな変化であった。
明治維新後はそのまま長く寺院街・邸宅街の様相を保っていたが、現一丁目〜二丁目にかけての通り付近に商店街が形成されたり、現三丁目の一部が住宅に細分されたりしている。また、戦後になると中高層のマンションや大規模ホテルが多く建設されるようになっていった。また、品川駅周辺は一九九〇年代から東口地区の開発が進み、高輪口（西口）は比較的に昔ながらの雰囲気を保ったままであったが、平成三一年（令和元・二〇一九）には西口地区の再開発事業が策定され、今後大規模な街並みの変化が想定されている。