醍醐寺始建於貞觀十六年(874年)。聖寶理源大師在上醍醐山上遇到山神橫尾明神顯靈指點,得到了靈泉——醍醐水,並建造了一座小廟以供奉准胝和如意輪兩尊觀音像。這就是醍醐寺的前身。之後,由於醍醐、朱雀、村上三位天皇信仰佛教,依照醍醐天皇的願望於延喜七年(907年)又建造了藥師堂。直至五大堂落成,上醍醐的寺院建築就完成了。接下來計劃在下醍醐建造廟宇。延長四年(926年)建造了釋迦堂,而後天歷五年(951年)五重塔的落成,算是完成了下醍醐的寺院建築。
此後,醍醐寺作為真言宗小野流派的中心寺院在佛教史中佔有重要地位。不僅如此,醍醐寺與政治權力中心的人們也有密切的關係。例如,代替藤原一族掌握了大權的權門源浚房家族的人連續幾代都是醍醐寺的主持。並且,在主持勝覺(俊房的兒子)的時期,山上和山下所有的寺院建築都得到了徹底修繕。永久三年(1115年)建造了三寶院,由此確立了醍醐寺發展的基礎。