慶長九年（一六〇四）将軍徳川家康は、埼玉郡増林村に設置していた御茶屋御殿を、越ヶ谷の東町裏耕地（現在の御殿町）に移した。増林村の御茶屋御殿については、その設立年代や設置場所もはっきりしない。現在増林のうち元荒川の古川沿いに〝城の上（しろのえ）〟という地名があるが、そこに設置されていたという確証はない。一説によると、古利根川沿いに位置する浄士宗林泉寺の周辺が御殿の敷地内であったともいわれ、当所に徳川家康が馬の綱をつないだという〝駒止の槇〟の伝説もある。ともかく『徳川実紀』には、「慶長九年是年、埼玉郡増林村の御離館を越ヶ谷駅に移され、浜野藤右衛門某に勤番を仰付らる」とあり、慶長九年増林村の御離館を越ヶ谷に移し御殿番に浜野藤右衛門が仰せつかったとある。「越ヶ谷瓜の蔓」などによると、御殿番は表御門通りを浜野藤右衛門、裏御門通りを小杉藤左衛門の二名に命じたとなっており、両名とも越ヶ谷地付の百姓一七家のなかに数えられている。

　また越ヶ谷の「会田出羽家系図」には「東照宮関東御入国之時、度々越ヶ谷辺ならせらるるのとき、資久初て拝謁を奉り、其後新方領増林村の内御茶屋御殿これある処、越ヶ谷御鷹野御成の節、出羽屋敷林等上覧遊され、場所宜候に付地面差上ぐべき旨仰付られ、則ち指上げ奉り、御殿并御賄屋敷共出羽所持地の内御建て遊さる」とあり、増林村の御離館を家康の求めによって越ヶ谷に移し、会田出羽氏屋敷の構内に御殿や御賄屋敷を建設したとある。

　この越ヶ谷御殿の設置場所ははっきりとはわからないが、ほぼ現在の〝御殿町〟（東町裏耕地）の区域が御殿の構内であったとみてよいであろう。大正十三年、元荒川の改修に際し、逆川の元荒川合流地点から元荒川の右折部にかけて、御殿の礎石ともみられる六個の大きな角石が発掘されたといわれる。この礎石らしい角石の発掘場所から推定すると、御殿の建てられていた場所は、ほぼつぎの図の地点ではないかと思われる。

　当所は荒川（元荒川）の自然堤防上に位置し、地続きには後北条氏の城砦に利用されたといわれる（「越ヶ谷の瓜の蔓」）浄士宗天嶽寺と郷社久伊豆社をひかえ、地形上からも当時の越ヶ谷郷の中心であった。しかもこの地は、周辺に大きな勢力を持った会田氏の本拠であり、かつ奥州道の要衝でもあったので、増林村の御殿をここに移したのは民政上当然であったと思われる。