平清盛任安藝守時，奉命修理高野山的大塔。完工那天，清盛參拜奧之院，不知從哪裡出現一位白眉老僧，說：「若修理安藝的嚴島，您的官位晉升必定無人能及。」說完就消失了。據說這是弘法大師的啟示。
清盛相信了，重建嚴島的社殿，在海上環繞朱紅色的迴廊，築成壯麗的神社。此後平家一門虔誠崇敬嚴島明神，清盛屢次參拜。一門的人抄寫奉納的《平家納經》，是鑲嵌金銀的華麗經卷，至今仍是嚴島神社所藏的國寶。
治承四年（1180年），清盛的女兒中宮德子所生的安德天皇即位，讓位的高倉上皇打破慣例，第一次出行就選了嚴島。京城的人們都覺得奇怪：「為什麼不是石清水、賀茂、春日，而是遙遠安藝國的神？」這其實是清盛的意思。上皇從福原乘船渡過瀨戶內海，參拜了嚴島。
人們相信，平家的興盛是靠嚴島明神的庇佑。彷彿浮在海上的朱紅大鳥居與社殿，也是支配瀨戶內海的平家力量的象徵。然而，這個平家，最終也將在同一片瀨戶內海的盡頭——壇之浦——滅亡。
《平家物語》卷七的〈竹生島詣〉、卷三的〈足摺〉等，物語中反覆描寫向各地神佛的祈禱。嚴島是其中與平家盛衰聯繫最深的神社。