潘仙祠位于高州市区文明路冼太庙东侧，为纪念西晋时代岭南道教先驱者潘茂名而建。潘茂名，潘州（今高州市）人，永嘉中入山，遇仙翁点化，授其长生不老之法。他按其仙翁指点，采药炼丹，救苦救难，最后乘坐石船飞升而去。潘茂名飞升仙去后，当地群众创建有10多座不同风格的纪念建筑，以志纪念。其中较有代表性的有：东山的东山寺，潘坡的潘仙亭，笔架山的潘仙亭，城西的仙易亭，观山的潘仙殿等。潘仙祠是潘茂名综合型的纪念建筑，原为潘仙亭，始建于明代天启元年（公元1621）。崇祯十年（公元1637），扩其亭为潘仙祠。
潘仙祠原为单进建筑。祠前面建有广福庙。广福庙前有潘茂名的石船丹灶遗迹。潘仙祠原与石船丹灶相隔，灵气不通，而且祠路要从冼太庙左边进入，又为冼庙所压。后来，为了开通气脉，便将广福庙迁走，原广福庙址归入潘仙祠，专祀潘仙，以翕聚一邑之灵秀。修建后的潘仙祠，共分三进，总进深47米，面阔9.5米。正殿为双层楼阁式建筑，中殿和前殿为抬梁式木构架结构，右侧廊庑与冼太庙相通。
潘仙祠前殿外的空旷地上，有潘茂名的石船丹灶遗迹。在丹灶上部盖有一亭，称“炼丹亭”。石船丹灶遗迹与潘仙祠连成一体，形成一个统一的建筑群体。
石船丹灶是潘仙祠中的重要景观。
停靠在潘坡丹灶旁的那条石船，长八尺五寸，宽四尺。船两端翘起，中间稍凹。由于常年停靠在野地上，以致石船全身都长满翠绿色的苔藓。毛茸茸的苔藓，包裹着一条神秘的石船，形成一个特殊的奇特景观，这个景观称作“石船苍藓”，是过去高州八景之一。
丹灶紧靠石船，它是潘茂名当年采药炼丹遗迹。东晋咸和六年（公元331），潘茂名回到高州，隐居于观山。他每天从东山采到各类中草药后，便在东山脚下建造了一个炼丹灶，将其炼成各类丹膏丸散。此丹灶由于长年累月地经常使用，在地面上形成了一个隆起一尺多高的坚硬的烧结层。在烧结层中间，有一个大如盘口洞穴，这便是丹灶口。为了保护丹灶遗址，于其上方盖上一亭，称丹灶亭。传说如果在丹灶口上塞满杂物，经一夜后，则会尽消如故。这是一个神秘的遗址，吸引了无数游人前来观赏。因此，潘茂名的丹灶遗址也成为高州八景之一，称为“潘坡丹灶”。
“石船苍藓”、“潘坡丹灶”与潘仙祠，形成一个不可分割的统一建筑群体，是文化旅游的著名景点之一。明代高州知府孔镛曾为石船丹灶景点题诗曰：
共说丹砂可驻颜，仙翁何不久人间？
石船藓合年年在，丹灶云封日日闲。
亭宇已成新岁月，乾坤犹自旧江山。
我来欲间长生诀，辽鹤何时海上还？
