玉泉寺是山上历史悠久的寺院。相传，东汉末年，汜水关镇国寺的普净禅师救了关羽之后，来此结草为庵。刘备为感激他救关羽之恩，修普净庵请其主持。
隋开皇间，天台宗始祖智颉大师讲法于此，定名玉泉寺。唐代著名国师神秀也曾于此传授禅法，死后葬于此地;天文学家僧一行曾在此学习梵律。北宋天禧年间，明肃皇后信仰推崇拂教，在此大兴土木，寺院“为楼者九，为殿者十八，三千七百僧舍”，占地左右各五里，前后十里，常住和尚千人，唐代诗人张九齡、盂浩然，五代诗僧齐己，明公安派袁宗道兄弟三人皆到过该寺，并留下了不少遗迹及其诗章。
大雄宝殿是玉泉寺的主体建筑，上挂“智者道场”匾额。殿为宋建，七开间，为木质结构，不用铁钉，为当地最古老的木结构建筑。殿前有池，中育名贵的千瓣并蒂荷花。池边有铁镬，上铸“隋大业十一年造，用铁金三千斤”字样，还有元代铁钟、明清的鼎、炉、碑刻等。殿右侧有观音像，传为昊道子作品。沿这里的台阶而上可到毗庐殿。