中御茶屋は、後水尾上皇の第八皇女朱宮光子内親王の草庵として、わずかに楽只軒が存在したが、内親王に出家のお志があり、寛文三年(一六六三)聖明山林丘寺の勅号を賜わったものである。
以来林丘寺は姫宮門跡にぞくし、楽只軒は林丘寺宮の居間にあてられ、客殿は東福門院の御化粧の間を賜わりここに移建したものである。しかし門跡寺院としては三代で廃絶し、以来臨済宗の尼寺となった。その後明治十七年、上・下御茶屋が離宮となるに及び林丘寺より楽只軒、客殿等の由緒ある建物と旧境内の約半分を宮内省に奉還し、「中御茶屋」としたものである。
したがって花岡八幡宮所蔵の絵図には上・下御茶屋のみで、中御茶屋は描かれていない。