以上の三種類四つの『絵図』から、中世の善光寺伽藍と建物をまとめてみると、鎌倉時代には四天王寺式伽藍であった。五重塔が存在した。築地塀は南大門から、境内を囲っている。重層の山門から回廊が始まり本堂を囲み、南の隅には方形造りのお堂があった。本堂は重層檜皮葺きの撞木造りで、規模は小さいものの現本堂と同じく奥行きの深い独特の形である。ただし、向拝には唐破風が付いていない。床下は亀腹となっている。
室町時代には、南大門は楼門の仁王門(または二天門)で、中門(山門)は重層門であった。このほか多くの建物があり境内はにぎわっていた。伽藍配置は四天王寺式で、五重塔があった。本堂は現本堂と同じ形で、妻は豕扠首構造であった。現本堂にはないが、二階に高欄が付いていたものか、裳階(もこし)には手摺(てすり)(高欄)は付かないはずなので、『善光寺参詣曼荼羅図』の誤りかもしれない。このころから向拝には唐破風が付く(脇向拝の存在は不明)。伽藍の位置は現仁王門のすぐ北の位置で、本堂・伽藍の中心は江戸時代の寛文年間(一六六一~七三)に建てられた如来堂跡のあたりであろう。
このように規模こそ小さいが、鎌倉時代には本堂は宝永四年(一七〇七)建立の現本堂とほぼ同じ形であった。室町時代にはここに唐破風が付き、脇向拝も付けられた。つまり、「撞木造り」は中世にすでにできていた。
問題の最後は、五重塔の位置は中心線上にあったのか、西にずれていたのかである。江戸時代の絵図には、大本願の北に「塔地所」とある。これは中世の五重塔の跡地なのか、それとも江戸時代に建設しようとした塔の予定地であるのか明らかでない。しかし、元禄五年(一六九二)の『善光寺境内絵図』には、大本願の東の位置に「塔真柱(しんばしら)石有(あり)」とあり、同じ図に大本願の北に「塔地所」ともある。このうち「塔真柱石」のほうは中世の塔跡とも考えられるが、その位置は中心線より東であり、しかも現仁王門より南にあったことになり、鎌倉時代から室町時代の『絵図』とは矛盾する。仮に、『一遍聖絵』と『一遍上人絵詞伝』にあるように、中心線より西にあったとすれば、「塔地所」とある位置(方位)のほうがズレとしては符合するが、しかし南の仁王門に近すぎるので塔がその位置にあったとみることにはやはり無理がある。
けっきょく、五重塔の位置は決定しがたい。ちなみに五重塔は文明六年(一四七四)に焼失してから再建されなかった。