豊井保下松にあり、大内氏の保護を受けた。『正任記』の文明一〇年(一四七八)十月三日の条に、九州出陣中の大内政弘に霊昌寺から巻数や餅・抹茶・菓子などが贈られた記事があり、大内氏との関係の深さを示している。毛利氏の時代になるとこの関係が薄くなってくる。一五六〇年(永禄三)十二月十二日付の毛利隆元宛行状によると、霊昌寺領の五〇石が慈眼院景順に与えられ(『閥閲録』六八)、寺領が減少している。さらに輝元は七一年(元亀二)十月に亡くなった妹(吉見広頼室)の菩提所の建立と維持のために、霊昌寺領を安芸吉田の興禅寺に寄進している(『寺社証文』一七)。この史料からみて、霊昌寺は毛利氏の時代になってからは保護を得られず、没落していったものと思われる。