開府当時、寺院数はどのくらい存在したか正確にはとらえることはできないが、港区内と考えられる地域には25ぐらいかと思われる（『文京区史』）。したがってその後、神社の別当寺、塔頭を含め、270余が建立、移転してきたことになる。全く驚くべき数である。将軍菩提寺増上寺とその塔頭を含むとしても、これらの寺院急増の原因は、慶長16年（1611）、京橋八丁堀と芝西久保が寺院地域に指定されたことによる。
［図5］ 江戸時代・安政2年 三田寺町付近の寺院分布（『港区史』上巻）
更に、寛永12年（1635）には、江戸城の拡張にともない寺院移動がかなり大がかりに実施された。とくに、八丁堀の寺町からの転入が目立ったが、これが三田寺町の形成につながる。このほか、赤坂、青山、白金、高輪、麻布などに寺町といわれる寺院地が散在し、多くの寺院が密集していた。
これらの寺院の宗派別の傾向をみると、増上寺をはじめとして、徳川家の帰依した浄土宗が圧倒的に多く、ついで禅宗（曹洞宗）が続く。町人に支持された日蓮宗とあわせ、江戸三大宗派という。
［図6］ 芝山内増上寺・明治40年（港区立みなと図書館編『写された港区』1）
また、寺社の起立には大名の介入も見逃すことができない。生涯の半分を江戸で過ごす大名は、藩地の菩提寺のほか、江戸に位牌を置く寺や、追善のため寺院を建立したり、藩地より寺社を勧請、遷座した。神社では、芝赤羽有馬家の水天宮、三田松平家の稲荷、虎ノ門京極家の金刀比羅宮、汐留伊達家の塩釜神社がそれであり、赤坂豊川稲荷も大岡越前守の邸内社であった。寺院では、信濃松代藩真田家の盛徳寺、常陸牛久藩山口筑前守の長谷寺、青山播摩守の玉窓寺、日向飫肥（おび）藩伊東豊後守の東禅寺等々その数も多い。
寺社門前の市街化は、港区地域の発展に深く結びついている。「文政町方書上」（1820年代）によると、区内の町屋は270余とあるが、その4分の1強にあたる76は門前町屋を形成していた。祭典や供養につながる縁日や祭礼の行事が定着するにつれ、門前広場は江戸庶民の憩いの場として、見世物、芝居の興行もあって、かなりの人出がありにぎわった。
一方、寺社内や藩邸内には、その保護をうけ、止宿する学者や文人が多い。化政期の『方角分』と『人名録』の2書に採録されている区内地域の諸家は、総勢168人に達する。地域的な分布をみると、一部高輪・品川も入るが、芝地区の居住者が圧倒的に多く、63人にのぼり、ついで、青山・赤坂がそれぞれ24人、21人で、麻布の21人、桜田の16人と続く。
これらの学者・文人のすべてが、寺社・藩邸に居住していたのではないが、芝などの古町の富裕な町人を含め、その保護による生活の安定とその道の研究にのめり込める環境があったのではなかろうか。増上寺の裏にあった飯倉森元町の町内には、「先生小路」と俗称された路地もあり、学者・詩家・画家などの居住地帯があった。