前身为三山私立神山学堂，创办于1927年，校址在凤山山麓神山庙内，以庙事、祠堂田息为办学经费，时有2个复习班，校长李仲远。1935年迁址三山柯氏宗祠，改名为三山国民学校，由中共地下党员徐建农任校长，徐以教书为掩护，开展革命工作，1938年因叛徒告密遭国民党杀害。
1950年更名三山乡中心小学，校长应书霆，生源由原凤山、堰潭、合宅扩至咸昶、球山、东岙等地。1958年改名为三山社中心，同年创办三山公社初级中学，时有3个班级，教师6人，学生约120人。公社书记郑明元兼任校长。1962年迁址宣化寺，1964年改办为三山公社农业技术初级学校。1969年迁址柯家祠堂，1972年迁址现址，更名为三山公社初级中学，1976年附设二年制高中班，1979年撤销。1978年、1984年东岙戴帽中学、海口中学相继并入本校，学校规模不断扩大。