据《潮阳县志》载：“双髻山即曾山”，“上有岩曰宝峰岩，石屋天成，深广八尺，也为大颠旧迹”，那么在一千多年前，中原禅宗九代传人大颠和尚就已行脚于此了。细观洞壁，有摩崖石刻数处；为：“（宋）绍圣乙亥岁(1095)开”、“(宋)政和丙申岁(1116年)岁重开头陀”、“(元)至正丙午重兴住持元清记”及明代成化辛丑、民国丁卯僧人镌石铭记5幅。记录了这里岩寺兴废历史。相传至明代，此处便改名为曾山古寺了。而且僧人不仅于岩洞修禅且建寺，今曾山古寺依山建筑寺庙数座，其门匾“曾山古寺”是清代乾隆辛丑金浦人氏官为湖北安襄郧兵备道的郑之侨题字。寺于峰下之平坡，绿树遮荫，曲径通幽，风光如画。
双髻山由于环境幽静，列朝士子也曾到此潜心攻读，这里有“双峰书院”旧址。原书院有房屋六间，今岩石尚有倒塌三间的楹孔。据说明朝峡山人氏官至大理寺卿的周光镐以及金浦的郑绍杰先后曾到这里读书。清代金浦的郑安道、郑光治与华阳游姓少年也曾来此致志学习而先后登第。清代光绪十七辛卯年梅花的郑佐卿捐资修葺书院，聘请棉城举人陈宗翼到此任教。
从曾山古寺再往上攀登，便至双髻峰顶。《潮阳县志》记：“双髻山高数百丈，周围数十里为近县山之特秀，航海者率望此以为准。”清代诗人郑安怀《登双髻山望海》诗中有：“高峰耸双翠，桀然云气屯。登临山背尽，白日手可扪。纵目杳无极，空光荡心魂。风声摇天外，怒浪长塴奔。”
