池田輝政の時代から始まった吉田の町づくりは、小笠原四代の正保(しょうほう)二年(一六四五)から元禄十年(一六九七)の間に完成した。
　吉田は譜代大名の城下町としてばかりでなく、東海道三四番めの宿場町として、また、伊勢参拝の海路や豊川舟運の湊町として栄えた。城下町であるため、武士と町人の居住地域は厳格に区別され、雑居は固く禁じられていた。つまり、吉田城および武家屋敷は外堀の中であり、外堀の外に町人の居住地域が配置された。
　吉田には、表町一二か町、裏町一二か町のあわせて二四町があり、吉田二四町といわれた。この他にも水野忠清の時代にできた新銭町や、小笠原時代にできた河原町(瓦町)などもある。
　町家は城下の主な道に沿って置かれたが、とくに、城の大手門近くの札木町・呉服町には一流商家が軒を並べていた。町は商人と職人、あるいは職業別に配置された。船町・上伝馬町・呉服町・鍛冶町・魚町・紺屋(こんや)町などの町名はこのことを示しているが、名称と職業が一致しない場合もあった。
　各家の間口は、吉田湊をひかえた船町を除けば、札木町・本町・呉服町の三町を中心に広い間口を持つ家が多く、中心から離れるにしたがって間口の狭い家が多くなっていた。正徳二年(一七一二)の人口は、男三七二〇人、女三四九九人、総人口七二一九人であった。

　城下を通る東海道は、城下内部の見通しをさまたげようとする軍事目的のためにいくども屈折していた。曲尺手(かねんて)の町名は、文字どおりそのことを示している。

吉田城下町推定図　「三州吉田城図」等より

　東海道にある惣門(そうもん)は、城下に入る第一関門であった。東西二か所にあり、西惣門は坂下町に、東惣門は下モ(しも)町に設けられ、番所で旅人に対する規制がおこなわれた。門限は明(あけ)六ツ(日の出)から夜四ツ(午後十時ごろ)までであり、これ以外の通行は禁止された。
　道幅については、表通りである東海道は広いところで四間(七・二メートル)、もっとも狭いところで二間三尺(四・五メートル)であった。裏通りにいたっては、さらに狭く二間ないし二間三尺だった。
　札木町は城下町吉田の中心街である。本陣、脇本陣、問屋場(といやば)など宿場の重要な機能が集中し、吉田宿の旅籠屋(はたごや)の大部分もここ札木町にあった。
　魚町は人口の面で吉田最大の町である。魚市場(うおいちば)は安海熊野権現社の境内に設けられた。魚市は、戦国時代に今川義元が吉田を支配していたころからおこなわれていた。元禄期の領主小笠原長重(ながしげ)は、新居宿から伊良湖岬にいたる遠州灘一帯の魚を吉田町地の魚問屋以外で売買することを禁止した。このような領主の保護もあって、魚町はますます繁栄した。享和(きょうわ)二年(一八〇二)の記録によれば、吉田城下の魚問屋は一三軒、魚仲買五八軒、肴屋九軒でこれらの大部分が魚町にあった。

魚町魚市　「三河国吉田名蹤綜録」より　和田元孝氏蔵

　鍛冶町の起源は永正(えいしょう)二年(一五〇五)のころ、牧野古白が今橋築城に際して、牛久保村から呼び寄せた多くの鍛冶職人たちを八町あたりに集め住まわせたことに始まる。池田輝政時代の新吉町を経て現在地へ移住したのは、元和(げんな)四年(一六一八)のころ松平忠利の時である。正徳(しょうとく)二年(一七一二)の鍛冶町の鍛冶職人の数は四二人であり、多くの鍛冶屋があったことがわかる。鍛冶町でつくられた「吉田鎌」は吉田の名物のひとつであった。