雷祖祠位于雷州城西南五里之英榜山，依山傍水．风景秀丽，称“雷岗耸异”，为雷阳八景之一。祠始建于唐贞观十六年（公元642年），是纪念唐代雷州首任刺史陈文玉（雷祖〕的祠堂。为国家重点文物的保护单位。　　　　

正殿面宽进深各三间，硬山顶，四往格梁式梁架结构，举梁平缓，前檐顾出檐极宽，建筑风格独特，富有地方特色。沿着前增顾可从东侧殿直通西侧殿，殿前屏风精雕细刻，玲挑剔透，巧夺天工。

雷祖祠历史悠久，洞内文物十分丰富，有千年五人、乾隆御赐匾额及历代碑刻30余通。历代显宦名流，骚人墨客，游览之余无不留下感人的诗篇。寇准有诗，东坡有赋，丁谓作记，车钢题碑，这些诗赋碑刻历尽人世沧桑至今尚珍藏于洞内，堪称祖国文物之瑰宝。雷祖祠神话传说纷经，其中千年五人就有一段美丽的传说：五代后梁开千四年，寇贼符盘容等不输税粮，倡乱骚扰，还煽动民族纠纷，闹得雷州无宁日。铁差都知司马陈真，带领12只船的兵力，围剿征讨。

当时，符孟喜等驻师届中，因朝廷官兵不熟悉情况，屡战不胜。后来，除禁虔诗雷祖，并于庙前张榜招兵。次日复战，陈没远远望见香祖陈文工与汉太剧李广协同阴兵助战，这场战斗果获大胜，但贼首来挽。至夜，陈霞梦见雷祖对其回：“赋来降我，我收在庙前，化为石人。”黎明起规，果见四石人跪于庙庭，其中一个被杀了头。雷州从此得以太平，陈嘉等拜谢雷祖，并具疏奏闻朝廷，于开平改元乾化二年，朝廷命郡官重建雷祖庙宇，并于雷祖庙西建李大尉庙，塑太尉像，与英山石神列而为三，称“雷词三段”。