常楽寺の寺史がはっきりしてくるのは、平安時代後期になってからである。行胤による常楽寺の造営が常楽寺史上の画期となる。しかし造営に関る史料は存在しない。わずかに「常楽寺二十八部衆勧進状」で触れられているにすぎない。
　常楽寺は、草堂に阿星寺の本尊が飛来してより、「年序押し移り、星霜久しく積もりて、棟梁傾斜し、基階頽毀（たいき）す」（原漢文体、「常楽寺二十八部衆勧進状」）という状態であったが、平安時代の末に行胤が出て、一寺造営の大願を発した。
　行胤は「上人」とよばれているが、当時、上人というのは勧進聖に対する称であったから、行胤も堂塔造営を志す勧進上人であった。かれは千手観音菩薩、十一面観音菩薩の加護をたのみとし、ついに近衛（このえ）天皇の仁平（にんぴょう）年中（二五一―二五四）に、「破壊の草堂を改め、厳重の精舎を建」（同上）立するにおよんだ。
　このときの堂舎の数、配置、規模などを伝える史料、さらにはそれらの遺構もなにひとつ伝わっていない。しかし勧進状によれば、千手観音菩薩像と十一面観音菩薩像が並んで安置された観音堂があり、これが主堂のようでもあった。また常楽寺には、現に平安時代の木造釈迦如来坐像が重要文化財として伝わっているので、この像を安置した釈迦堂もあったと思われる。この釈迦像は、今、明治三十七年（一九〇四）の本堂修理の際新たに設けられた後陣仏壇に安置されている。
　なお、延文の火災まで千手観音菩薩像と並置され、火災のなかを無事に取り出されたという十一面観音菩薩像は今みることができない。しかし元禄ごろ（一七世紀末）の「寺社御改覚（おんあらためおぼえ）」によれば、十一面観音堂が存在しているので、十一面観音菩薩像は、後世、千手観音堂とは別に祀られていたようである。