香山社学旧址在德化县香林寺左路东楼花厅，创办于明·建文二年（1400年）。过去作讲堂的壁间有古联一对：“听讲应有神，大地好从湖水渡；闻香知无隐，前峰喜作莲花看。”（参见《泉州寺庙·香林寺》）
北宋时，泉州德化北区葛坑、田地、湖头、蔡岩、桂阳等处乡村是属尤溪县辖，尤溪属延平府。延平是“闽学四贤”之地，乃李侗、罗豫章、杨时、朱熹理学活动中心，故府学、书院遍布各县乡。
因此，在明·建文二年（1400年），原来是穷乡僻壤的德化桂阳、曾坂、田地、湖头等地乡人，为培养本乡子弟，与香林寺和尚商量，在香林寺东楼花厅创办“香山社学”，初收学生三十多人。
香山社学培养当地乡村生员，直至清初，出了不少有名人才。社学毕业后做官的又往往报答母校之地香林寺。
香山社学培养的生员中，以明代中宪大夫凌辉最著，在朝廷任职历经永乐、洪熙、宣德、正统四朝。（参见《泉州人名录·凌辉》）
凌辉从小在香山社学就读。作广东监察御史期间回到母校，见香林寺东楼旧损破败，作诗一首：
“重上危楼思豁然，倚栏点缀旧山川。
身超世界尘嚣外，目断中天杳霭边。
郁郁苍松经岁月，萧萧翠竹洒风烟。
回思昔日登临处，瞬息如今又十年。”
因此，明·宣宗·宣德元年（1426年），他的同年曾坂的曾灏创建寺内观音楼时，凌辉献出收来的租谷100担维修祖殿及方丈住室，不忘师恩。
同时，凌辉还请封创寺僧人许了他、郑道徽为祖师公。
明·祟祯七年（1634 年），香山社学后来的生员苏嗣卿、方如蕃、苏维见、林排开、严其林、凌潜夫、林俞卿等七人同是二十四岁，同一年生日，因受张溥于在苏州虎丘开“复社”大会的影响，也成立“同庚联谊会”。这恐怕是泉州府最早的同学会学生组织。
香林寺僧人和历代住持也十分支持社学，香山社学学生与和尚住在一块。有个来此访游的进士以为这不像正规书院，便讥讽教书先生曰：“儒释共一堂，弟子三千，俗界三千，问和尚何以为尚？”先生随口应道：“门墙高楼仞，学士十八，罗汉十八，请先生他处谋生。”来人自觉失言没趣，乃自嘲自解曰：“真是佳走（跳蚤）跌倒干。”
