孔子山本名紫盖山，在山东省平阴县孔村镇西北两公里处，山巅故有孔子讲书堂遗址。因此，北宋熙宁五年（1072年）于此址建“孔林书院”，又名“杏坛遗响”。明弘治十五年（1502）重修孔庙（即“孔林书院”），始立孔子及四配像。明万历二十四年至二十五年（1596-1597年）迁至山东坡，仍立孔子及四配像。清康熙年间，张拔重修孔子山庙；1770年，1859年，1934年分别重修孔子山庙。“文化大革命”期间被毁坏。
孔子山系历史名山，与五岳同为中国三十洞天之一。《名山志》有孔子山绝顶“孔子讲书堂”遗址的记载。这是曲阜以外惟一的“孔子教书堂”遗址。“杏坛遗响”是平阴县八大景之一。
孔子山孔庙位于东面山坡，座西面东，临孔子山村西。东西长约120米，南北宽约80米。整体为三进大院外跨两楼。大门高建台阶之上，排楼式三间。大门里圈有长方院，对墙为大影壁，影壁两旁通过两座小门入一进院。该院南北各建三间瓦房，南为过道房，为接待官厅。此处晚清兴办学堂时立为学堂。过道房南另辟一小院，建有平房六间，供祭祀时做炊事用，早期曾有看庙者居住。由一进院登阶进入二进院，此院南北对称，各建有三间带前廊的瓦房，房内是孔子弟子及后世入孔庙的儒家木主。二门旁有南北两道墙，墙上半部为青瓦排花透体。从二进院再登阶进入三进院，此系大平台式，前沿有两段南北半身高透体墙栏，通过两列12个石俑进入大殿。大殿五间，前廊四根八棱青石柱，前墙上半部全系木格花窗扇，殿顶外构筑筒瓦高脊，顶山均有禽兽装饰。殿内雕梁画栋，大红圆柱8根，设木阁三间。正中一间供孔子塑像，左右两间供四配像。殿内贴南北山墙各建一长台，各供6个木主，即12哲。
大门前左右两侧跨出正院建有两座高台楼。左侧是讲书楼，西面后墙实体到顶，左、右、前三面环厦，黑漆圆柱8根，南北大对窗，面东木格花门，平顶四角斜尖。右侧是文昌阁，两层六角尖顶。一层有文昌帝君塑像，二层是魁星塑像。两楼楼身并楼台高约10米左右。大门前两楼之间为一南北长平台，再前有15米见方的大平台，两平台均系青条石压边。文昌阁北侧设一进庙便门。
庙系循山而建，由前往后逐步升高。因此，大方平台台阶为13级，大门、二门和大殿平台前三座台阶均为9级，大殿前3级。
庙内有木制大匾额6块，木制长牌对联一副，其颜色和匾文分别是：大门外面为白地蓝字“生民未有”；大门里为赭色地黑蓝字“斯文在兹”；二门上为白地天蓝字“图书天地”；大殿门上为红地红字“与天地参”；殿内孔子塑像阁上的大匾长与阁宽相等，宽镶边黑漆地金字“金声玉振”；讲书楼内对门墙上白地黑字“春风化雨”。大殿内孔子像木阁两旁圆柱上长牌对联是：“盛德同天地马迹车尘到处皆春风化雨；斯文炳日星宫墙俎豆此间即泗水尼山。”长牌面为金色碎屑地天蓝色字。
庙内外共有青石碑13通，大殿前5通，二进院内4通，大门外3通，村东1通“杏坛遗响”碑。大门外左侧一通断为四截的“杏坛遗响”碑，系从山顶移下来的，明万历初立于山巅。另有两通残碑，一是北宋熙宁五年篆额曰“孔林书院”部分碑头，一是弘治十五年重修孔庙碑部分碑身。
孔子山东面，遍植翠柏。庙内外原来大树颇多，一进院内曾有两人合抱的柏树，院子被遮其大半。从远处看孔子山，见树不见庙。庙的建筑特色为青砖青瓦白墙，加之古木参天，庙貌巍然。
孔子庙在山巅和迁移后常年游人不断，从官吏以至百姓各阶层人士都有。尤其是在每年的清明节，上午十多里外的师生云集孔子山，瞻仰孔庙，下午周围村庄以妇女为主体形成人流往来于孔庙。明《兖州府志》有诗曰：“紫盖郁苍苍，孤峰标圣堂。四时谁俎豆，万仞见宫墙。圣运千年在，风流自世长。高山多仰止，宁北旧甘棠”。《平阴县志》也载有名人登山赞孔庙的诗：“紫盖山中云树苍，传来孔子教书堂。列侯霸业烟销尽，惟有尼丘圣泽长”，元、明、清以来，每年祭祀孔子，孔子山庙与县文庙同时举行。
