灵山寺初创于金大定三年（公元1163年），距今已有800多年历史，始创者为僧人憨休老祖。灵山寺原名报恩寺，传说凤凰山为周灵王逝安之处，因而得名灵山，寺又因山得名灵山寺。

据《宜阳县志》中“报恩寺图”所示，寺内主体建筑有山门、前殿、毗庐殿、大雄殿、藏经后楼，以及左右配殿六座。后遭天灾人祸，寺院毁坏。民国八年，心空法师募资重修灵山寺。现存建筑有山门阁、中佛殿、天王殿、大雄宝殿、藏经楼、东西祖师楼等。其中大悲阁、大雄宝殿梁柱仍为金代建筑。

灵山寺最独特的建筑为山门阁楼，此阁楼坐南朝北，下部为一砖筑平台，风格独特。灵山寺大雄殿内有明朝佛像三尊，即“三世佛”，栩栩如生，为河南省现存最早的泥塑作品，被列为河南省重点保护文物。灵山寺镇寺之宝为七级四面石砖塔，为明成化十七年所建造。寺门有千年银杏树，苍老挺拔。