《三国演义》第七十七回介绍了玉泉山关公显灵之事。关公威名，童叟皆知；关公精神，名传后世，永垂不朽。明清时代在这里矗立了碑碣，以示纪念，让后人永远记住关公。大家请看：石望表上的六字楷书“汉云长显圣处”，另一石碑上刻“最先显圣之地”。在东汉建安二十四年，关公在远安的回马坡被吴将马忠用绊马索绊倒后所获，因他拒不降吴，被斩后冤魂不散，来到玉泉山上空大喊三声：“还我头来！”后普净法师出庵指点教化他道：“昔非今是，一切休论。后果前因，彼此不爽。今关将军被吕蒙所害，大喊还我头来。然而，将军生前，诛颜良杀文丑，过五关斩六将，那些人的头，又叫谁还呢？”关羽听了普净的法语，恍然大悟，心悦诚服，于是皈依普净，后人有诗赞曰：“丈夫生死气盖世，化作伽蓝始于兹。香客更传普净语，一问千载万人思。”
关公在玉泉山皈依佛门，于是常常在玉泉山显圣护民。当地老百姓，感谢他的恩情，集资在覆船山顶，修了一座显圣祠纪念他，这便是历史上最早的关庙了。南北朝天嘉三年（562年）陈文帝敕修显圣祠，并把它移到对面显烈山山腰。一位文人，为祠堂题了一副对联：“赤面秉赤心，骑赤兔追风，驰驱时无忘赤帝；青灯观青史，仗青龙偃月，隐微处不愧青天。”当时显烈祠的规模很大，沿中轴线上分别建有山门、大殿、三义殿等，两侧建有僧房。1960年时，小关庙被拆毁，现在的小关庙是由台湾台北佛教居士捐资17万元重建的。
