こうしたいわばアクの強い田中の存在は、政界や華族社会に強い反発と忌避感情をもたらすことになる。大正七年十月に田中が『明治天皇紀』を編さんする臨時帝室編修局の総裁に就任すると、これに対する拒否反応が一斉に起こる。とりわけ貴族院の華族議員の反発は強く、田中の辞任を求め騒ぎだす始末となった（『原日記第五巻』）。彼らの田中に対する反発は、直接的には田中が宮内大臣をやめる遠因ともなった、西本願寺の別邸を皇室が買い上げる際に金品の授受があったのではないかという疑いに根差したものであったが、根底的には田中の強引なやり方が嫌われてのことと思われる。田中は翌年五月には総裁を辞職せざるをえなくなる。
こうして政界や華族社会の主流から敬遠されるにしたがい、田中の活動は民間へと向かっていった。そして田中の「維新志士」と「明治天皇側近」という権威は、在野にあって絶大な効果を発揮し、政治や皇室に対して直言する「硬骨漢」「直言居士」として一定程度の社会的支持を集めることになる。さらに田中の存在は、大正天皇から昭和天皇への代替わりによりクローズアップされる。民間にあって維新から明治にかけての皇室の模様を知るほとんど唯一の存在となっていた田中は、雑誌や新聞などに明治天皇に関する回顧談をたびたびよせ、社会の注目を集めるようになっていた。彼が多摩村連光寺にある明治天皇関連の史跡について知るのも、ちょうどこの頃のことである。
そのきっかけは、昭和二年（一九二七）三月大松山を所有する宮川半助が、明治天皇の事跡を研究していた児玉四郎に依頼し、国民新聞に同地の売り出しの広告を載せたところにはじまる。この広告について報告を受けた田中は、さっそく児玉と連絡をとるとともに、宮内省や富沢家を調査させ事実を確かめると、昭和三年四月八日自ら多摩村連光寺におもむき、向ノ岡と大松山を実地踏査する。そして五月十八日には、田中を中心として宮川半助や富沢政賢も加わり聖蹟奉頌連光会が設立され、翌月には記念館を設立することを決定、その準備に取りかかった。記念館設立にあたり宮川は、土地を全部無償で提供したほか、富沢や立川勇吉も敷地を寄付している。同年十一月十八日には、御大典を記念して明治天皇の和歌を刻んだ記念碑が大松山に建てられた。さらに明治天皇にゆかりが深い建築物として、隅田川河畔にある三条実美の別荘であった対鴎荘を向ノ岡に移築することになり、十一月に工事を開始、昭和四年五月五日には竣工する。そして昭和四年十月十二日に記念館の建築工事が大倉組によりはじめられ、これが昭和五年十一月九日に完成となるわけである（沼謙吉「多摩聖蹟記念館建設への道」）。この間、すでに注目を集めるようになっていた記念館には、昭和五年四月二十日東久邇宮らの一行が視察に訪れている（伊野富佐次「備忘録」）。
図1―9―15 連光寺を調査に訪れた田中光顕の一行
図1―9―16 対鴎荘
図1―9―17 視察に訪れた東久邇宮の一行
この多摩聖蹟記念館の設立とほぼ同じ時期、田中はこれと同趣旨となる青山文庫を高知県佐川町に、また常陽明治記念館を茨城県大洗町に設立している。このうち常陽明治記念館は、昭和四年四月に開館し、明治天皇や皇族の「御物」や維新期の関係者の遺墨などを収蔵、展示することを目的としたものであった（富沢政宏氏所蔵文書）。さらに田中は、神州青年連光会という団体を組織する。昭和八年（一九三三）五月には、静岡県支部の発会式が田中の別荘で行われ、この後参加者は「青年修行の大本山」である多摩聖蹟記念館を参観している（多摩市教育委員会所蔵資料）。
こうして民間に大きな勢力を作り上げた田中は、その後宮中に対しても強硬な姿勢をみせていく。昭和七年八月には、当時の牧野伸顕内大臣と一木喜徳郎宮内大臣に対して辞職を勧告するという騒動を起こしている。この事件は、当時新聞にも大きく報道され、宮中の人々も対応に苦慮した。また昭和八年八月には、田中が新聞紙上に内大臣廃止論をぶち上げ、これを目にとめた昭和天皇が苦々しく思い、何とか田中を謹慎させる手だてはないかと述べる一幕まであった（『牧野伸顕日記』）。いずれにせよ田中にとって多摩聖蹟記念館は、まさに自己の政治勢力の根拠地であり、またこれをさらに拡大していく上での重要な拠点となったのである。