京都方面から東海道を通り江戸への入口として、高輪に大木戸が置かれていた。新聞記者・随筆家の大庭景秋（柯公（かこう））が、「芝は江戸の為にも東京の為にも、文明の入口である。（中略）東京は、その旧文明をも新文明をも、芝から受け入れたと謂つて可からう」（大庭　一九三八）と記しているように、ここは江戸／東京の入口であるとともに、芝区の入口でもあった。
　港区域の大半は武蔵野台地に覆われており、そのため山の手と呼ばれている。芝区も区域の多くが台地であったが、江戸時代より東海道沿いの低地に町地が広がっており、麻布区や赤坂区に比べ、明治以降も江戸の下町情緒を色濃く残していた。「芝で生まれて神田で育ち」と端唄でうたわれているように、「芝つ児とは日本橋神田と名を並べる遊侠もの」（遅塚　一九一六）だったのである。
　そのため、評論家の山口義三（よしぞう）（孤剣（こけん））が大正七年（一九一八）刊行の『東都新繁昌記』に、「江戸と田舎の境界にゐて、江戸に来る人、江戸を出る人の番人をつとめた芝は大東京の膨脹に参して、立派な町を沢山作つた。（中略）形勝の宜しきを占めたる芝の地価は年々に騰貴するばかりである」と記したように、芝区は東京市一五区でも有数の人口を有しており、産業の発展により人口を増やし続けていた。
　人口が増加するに従い、台地は高級住宅地として発展する一方、低地には町屋が密集し、地価も値上がりしていたようである。例えば白金三光町（現在の高輪一丁目、白金一～六丁目、白金台四～五丁目）について旧『港区史』では、「三光通より南側はおおむね高台で、華族、軍人、代議士その他の大邸宅街となり、北部は中小住宅、小商店、小工場が密集し、南部と対照的な中下層階級の町となった」と記しているが、芝区の特徴をよく示していよう。
　このように、芝区は山の手でありながら、明治期になっても下町として発展した地域であった。例えば、庶民の代表的な娯楽であった寄席の席数をみると、大正一一年刊行の『遊覧東京案内』では、芝区には恵知十（南佐久間町）、小柳亭（宇田川町）、白金演芸館（白金志田町）、新勇多加亭（西久保神谷町）、玉の井亭（兼房町）、琴平亭（琴平町）、八方亭（愛宕下町）、永寿亭（愛宕町）、桃桜亭（愛宕下町）、祇園亭（伊皿子町）、七福亭（金杉町）、七大黒亭（三田四国町）の一二席がある。この頃、東京市内には八八の寄席があり、一二席は他区に比べ最も多い席数であった。芝区が下町として賑わっていたことをうかがわせよう。なお、同書では新しい文化であった活動写真館も案内している。この頃、市内には活動写真館が五七館あったが、そのうち、芝区には芝電気館（金杉町）、大門館（浜松町）、第二副宝館（桜田本郷町）、三田演芸館（三田同朋町）の四館があった。一六館を数える浅草区は別格として、次に多いのは京橋区の五館で、芝区は市内三番目の館数である。まさに芝区は山の手における下町として発展していたのである。