灵山人遗址在灵山县三海乡栏崇村马鞍山。山为喀斯特孤峰，形似马鞍。山下有东胜岩、葡地岩和尽头岩三洞。
1960年，广东师院、广东省文物管理委员会考古队和中国科学院古脊椎与古人类研究所贾兰坡、顾玉珉、顾阎等在东胜岩发现1块颞骨的鼓室部、两颗牙齿和一段左侧股骨上段；在葡地岩发现1块顶骨和3块额骨。东胜岩还出土熊的化石和钙化蜗牛；葡地岩出土中国犀牛、野猪、鹿和牛化石。专家研究鉴定为更新世末期的人骨化石。命名为“灵山人”化石出土地点。此外，还在石背山洪窟洞古人类遗址，出土1块顶骨、1块髋骨、1枚上臼齿、2枚板齿，代表老年个体，属旧石器时代。在石塘乡钟秀山滑岩洞遗址，发现10块头骨、70枚牙齿、l块髋骨、l件穿孔石珠和一些网纹、绳纹陶片，研究鉴定为新石器时代的人骨。
