図2－4－2－1 寛政6年の森山家屋敷周辺 赤坂麻布之内
幕府普請奉行編『江戸城下変遷絵図集 御府内沿革図書』10（原書房、1986）から転載
森山家の屋敷について、「御府内往還其外沿革図書」を見ると、盛徳寺の道を挟んだ北側の区画が、延享三年（一七四六）時点では五〇〇〇石の旗本戸田孫七郎（信濃松本藩戸田松平家分家）の屋敷だが、寛政六年（一七九四）には「森山源五郎」と表記されている（図2－4－2－1）。また、盛芳が鉄炮箪笥奉行（てっぽうたんすぶぎょう）だった宝暦元年（一七五一）の武鑑には、「赤坂中ノ丁」とあるので、それ以前に赤坂に屋敷を拝領していることがわかる。「相対替御書附書抜」（国立国会図書館所蔵）によれば、森山家の屋敷は中之町を表す「赤坂築地」となっており、ここに四五〇坪余を拝領していた。そして寛政二年（一七九〇）一一月一一日に、小性組進藤五郎右衛門の拝領屋敷一八〇〇坪のうち一五〇〇坪と相対替することが許可されている。進藤家は前述の戸田孫七郎の屋敷を引き継いでいたわけで、西側に三〇〇坪を残して相対替したことになる。これによって森山家の屋敷が二軒ほど南に移ったことになり、以後、森山家は明治維新までそのままこの屋敷を引き継いでいる。
森山家は「大番筋」の家柄で、孝盛以前に目立った活躍はうかがえないが、孝盛は有能な人材だったこともあり、大番→小普請組頭→徒頭→目付→先手鉄炮頭→火付盗賊改（加役）→西丸先手鉄炮頭→西丸持弓頭→西丸鑓奉行→寄合と昇進を重ねている（表2－4－2－1）。とりわけ同時期に火付盗賊改を務めた人物として、長谷川平蔵宣以（のぶため）（一七四五～一七九五）と対照的に取り上げられることが多い。長谷川は四〇〇石の旗本で、家柄としては森山と同格だった。火付盗賊改には天明七年（一七八七）九月から翌年四月、および同年一〇月から寛政七年（一七九五）五月までその任にあり、その後任として同月から就任したのが森山で、翌年六月まで務めている。ちなみに、森山の屋敷の北東側の区画の一角に一三五〇石の旗本長山家の屋敷がある。この家は宝暦一二年（一七六二）四月以来明治維新に至るまでこの地に屋敷を構えており（「相対替御書附書抜」）、代々の当主が小性組か書院番を務めている両番格の家柄だが、長山直幡（なおはた）が明和五年（一七六八）五月から同六年六月まで火付盗賊改を務めている。
表2－4－2－1 森山孝盛の年譜
『自家年譜』、『柳営補任』をもとに作成
孝盛は盛芳（もりよし）の次男として赤坂の屋敷に生まれ、三四歳の時に実兄盛明の養子となって家督相続した。代々の例にならい、安永二年（一七七三）四月二六日に大番に就任している。大番は西丸・二丸の警備や江戸市中の警備を務めるほか、ときには大坂城や二条城に一年間出張勤務することがあった。実際に孝盛は大坂在番と二条在番とを繰り返す時代が長く、赤坂の屋敷を留守にすることが多かった。その一方で、孝盛は二条在番中に京都の公家たちと交流をもち、嵯峨流の書を学び、人に頼まれることも多かった。また、公家の冷泉為村（れいぜいためむら）（一七一二～一七七四）・為泰（ためやす）（一七三五～一八一六）門下の歌人でもあり、国学にも造詣が深く、在番中は直接冷泉家で指導を受けているほどだった。
このように、孝盛は教養に優れた一面をみせていたが、大番筋という家柄ゆえか、なかなか出世できず、田沼政権下では、老中田沼意次（おきつぐ）の遠縁に連なる旗本土方（ひじかた）家から婿養子に迎えた盛年のつてで、田沼の屋敷をたびたび訪れ、昇進を図るなどしている。また、孝盛の日記には、天明元年（一七八一）六月一五日の赤坂氷川社の祭礼の折には、土方家の本家筋である伊勢菰野藩（こものはん）前藩主土方雄年（かつなが）（一七五一～一七九五）と藩主雄貞（かつさだ）（田沼意次六男、一七六三～一七八二）の各正室が祭礼見物に訪れたため、屋敷に招いて饗応している（『自家年譜』国立公文書館内閣文庫所蔵）。こうした昇進工作がようやく功を奏したのが天明四年（一七八四）九月のことで、孝盛は小普請組頭に就任している。
しかし、実際に出世の機会をつかむのは、寛政の改革期を待たねばならなかった。天明七年（一七八七）六月に老中松平定信による寛政の改革が開始されると、時勢や公務のあり方を論じた意見書を定信に上申したことが評価され、寛政二年（一七九〇）九月に徒頭（かちがしら）、同三年五月に目付となっている。前述の屋敷の移転はこの徒頭在任中にあったわけで、三倍以上の広さの屋敷を得た孝盛は、名実ともに昇進を実感したものと思われる。そして目付時代の孝盛は、改革の一翼を担い、普請現場の見分や海防のため関東沿岸を巡視するなど、多忙の日々を送ったようである。
この時期の孝盛の屋敷での生活ぶりについては、彼が明和七年（一七七〇）閏六月から文化八年（一八一一）まで記載した日記『自家年譜』からうかがうことができる。天明五年（一七八五）を事例にとると、まず正月に知行所（ちぎょうしょ）の名主たちが年頭の挨拶に屋敷を訪れている。知行所からは毎月近況を知らせる書状が届き、年貢米の賦課・収納や村役人の任免、村の揉め事の経過報告などの他に、飛脚による借金の送金などもみられた。この年は不作だったこともあり、年貢米の減免を認めているほか、この頃森山家では困窮していたようで、知行所の者ばかりでなく、隣村蓮沼村の者にまで借金を申し入れている。また、同家は家禄の一部を蔵米として一〇〇俵、これに加えて当時小普請組頭として役料三〇〇俵を得ていたが、これらを担保に札差（ふださし）（旗本・御家人の蔵米の受け取りや販売を行う商人）から借金をしていた。そして、五月には屋敷近くの小橋の架け替えにあたって、辻番組合の近隣の旗本七家とともに費用を負担している。この辻番とは、幕府や大名・旗本が自警のため武家屋敷の辻々に設けた見張り番所のことで、数家の大名・旗本が共同で管理する場合が多かった。森山家の場合は右の旗本七家と日常的に交流があったほか、他の近隣旗本とも交流があった。
屋敷では常に家来・女中・下男など一〇名以上が仕えていたようで、領民や近隣の旗本との交流・出入があるほか、赤坂氷川社祭礼の際には仲間を招き、屋敷の表門の脇に物見を設けて門前を行列が巡行する様子を見物したり、医師や文化的な交流のある人物が訪れたりなど、赤坂の屋敷は様々な社会関係を結ぶ場となっていた。
ところが寛政五年（一七九三）七月に松平定信が退任すると、孝盛はしだいに幕政の第一線から後退していく。先手鉄炮頭となり、同七年五月二一日には病死した長谷川平蔵の後任として火付盗賊改を兼務することとなったが、その期間は短かった。翌年一二月には将軍世嗣の家慶（いえよし）（一七九三～一八五三）付きとなり、以後は西丸役人で終わっているのである。この西丸時代に孝盛は文筆活動を精力的に行っており、『蜑（あま）の焼藻（たくも）の記』『賤（しず）のをだ巻（まき）』『闇窓（あんそう）随筆』『年代通覧』『諸家什宝抜萃（じゅうほうばっすい）』『御加役（おかやく）代々記』『公務愚案（こうむぐあん）』など、多くの随筆を残している。
なかでも享和二年（一八〇二）頃成立の『賤のをだ巻』（全一巻）は江戸の社会・風俗の移り変わりを述べたもので、屋敷周辺の回顧的記載も散見される。それによれば、幼少の頃は屋敷近くの三河台でよく大凧（おおだこ）を上げたという。また、三河台下の斎藤靱負（さいとうゆきえ）の屋敷でも大凧を上げていたことが記されている。
なお、天明元年（一七八一）、孝盛の娘里佐子は婿養子盛年（土方久忠の次男与一郎、のち安芸守）を迎え、同八年に男子熊五郎盛哉を出産した。そして寛政四年（一七九二）には、一一代将軍徳川家斉（いえなり）の側室お満（平塚氏、？～一八三五）が生んだ竹千代の乳母となっている。竹千代は三か月で逝去したため致仕（ちし）（官職を退くこと）するが、妹りゑ（嶋沢）が大奥に勤めていたため、里佐子は「先の乳母」という格で大奥出入りが許された。里佐子は文政八年（一八二五）からは一一代将軍徳川家斉の正室寔子（ただこ）（広大院・薩摩藩島津重豪（しげひで）の娘、一七七三～一八四四）にも仕え、寔子が島津斉興（なりおき）らの昇進や、薩摩藩の財政立て直しなどに寄与した折の様々な仲介役の役割を担ったといわれる。