据新蔡县志记载，文庙黉学在元、明两代三建两迁：元朝大德八年（公元1304年）县令贺镇，始建于城东门外路南，仅粗建大殿。大德十一年（公元1307年），知县李演在此基础上建成。元末倾圮。明洪武十一年（公元1378年），知县应宗毅重新修建。天顺元年（公元1457年），训导汪正言以其偏僻不便，奏请迁建，遂由城东门外的路南迁至路北；正德十二年（公元1517年），知县刘汉以文庙在城外有欠尊重，梦寐思迁，巡至城东南角尼寺，认为此地闿爽奇秀，是为善地，遂拆寺宇、毁偶像，动工迁建，但刚建起讲堂，因刘汉离职而停工。此时大殿仍在城外，新建讲堂称为南学。嘉靖三十三年（公元1554年），知县朱茹到任不久，即议在此基础上兴建学宫。至次年五月建成。明末，复遭兵火，宫墙颓废。清顺治年间，知县钟鳄、谭宏宪、于述绪等都曾重修。康熙二十四年（公元1688年），知县吕民服又增修，并添置祭器、舞乐等设备，建立严谨的制度，使庙容焕然一新。
民国初期，多次驻兵，频遭破坏，土匪入城又受糟蹋，庙中文书、乐器、祭器、舞衣等尽散失；部分祠、亭、斋、廊及奎星楼、文明楼皆倒塌，石碑、石门损坏，抗日战争时龙门也被扒掉。后经两次整修文庙，又伐掉了院中的一些古木佳树，大成殿后墙正中，改为向后凸出，孔像后移。在此期间，该处曾办过劝学所、师范讲习所、初级小学、完全小学等。
解放前夕，文庙又遭洗劫，院中建筑仍存多数遗迹。解放后，政府在这里重新办起完全小学。文化大革命中，仅存建筑再度蒙难，孔子铜像一下肢被毁，修复后移至县文物保护单位保管。大成殿虽历经沧桑，风剥雨蚀，仍保持古代建筑特色，现列为省级文物保护单位。