祠依山而筑，面向平原，其雄伟壮观。祠分三进，由山门、正殿、侧殿、后殿、东西庑、钟鼓楼、碑廊等建筑组成，全部建筑沿中轴线布局。东西两侧殿前屏风精雕细刻，玲珑剔透。后殿占地面积一万多平方米，是岭南地区最大的祠堂之一。

雷祖祠历史悠久，歌咏文字不计其数，寇准有诗，东坡有赋，丁谓作记，李纲题碑，现在祠内历代碑刻尚存30余通。

雷祖祠位于雷州城西南五里的英榜山，依山傍水，风景秀丽，称“雷岗耸异”，为雷阳八景之一。始建于唐贞观十六年（公元642年），是纪念唐代雷州首任刺史陈文玉（雷祖）的祠堂，为国家重点文物的保护单位。