苗木の武士の住居については、遠山家に残る士族屋敷の分布地図でみる限りでは、城を中心に城域内外に点在していたことがわかる。従って他領でみられるように、家臣を強制的に城下へ集める移住策はとっていないと考えられる。
　遠山家の史料で見る限りでは、町は大別して上町門から上町、新町、下モ丁(町)、鉄砲町と町屋を作っていたことがうかがえる。そしてこの町屋の中に士族屋敷も混在し、下モ丁に多く見られる。
　城下の町屋の発展については、詳細なことはわからないが、明治一六年に書かれた「苗木村旧上地村明細記幷遠山家年中行事藩士旦下々迠役名掟其外雑書名産荒増記」(新田家蔵－以下「苗木村明細記」－)によってみると、
(上町)　元禄の頃までは町屋が九軒であったが、追々町屋が建並び新町、本町、柳町と発展した。上町は明治以降上之町と改称された。
(新町)　北溪から梛(なぎ)へ行く四つ辻のところを広小路という。寛政年中は町屋があってせまい所であったが出火し、類焼してより火除地となり、広小路と呼ぶようになった。明治以後は本町と改称された。
(鉄砲町・足軽町)　本町の角を曲がった所から昔は鉄砲町・足軽町といい、足軽等が住んでいたが、年月を追うに従って町屋になって来た。鈴垣外への分れ道より下手の方は、三・四軒あって片側町であったが、文政年中建続き両側の町屋となった。
(柳町)　本町二丁目(明治一六年)折れ曲がった下の方を柳町という。文政二己卯年、高山村住居の木屋吉右衛門という者が遠山家に願い出て織屋を始めようと町屋を建てたので町名も卯年の卯に木屋の木を組み合わせて柳町とつけた。
　これらの記述についても疑問は残るが、町屋の発展は江戸中後期以降順次町屋が並び町並が出来たと考えられる。
　武士と町屋との行き来については、前述「苗木村明細記」によると、武士は町屋へ自由に出入りすることは許可されていなかったようで、買物等で出入りすることは苦しからずということであった。また城下町で芝居興行などがあり、村々での芝居狂言がある場合でも武士は勿論家族までも見物してはいけないという達しがあった。足軽には、そうした沙汰はなかった様である。しかし遠山家奥方が見物される時は、武士もその家族も見物勝手という達しがあった。こうした規制は再三にわたる家臣統制として出された倹約令或は奢侈を抑制する一環であったと考えられる。