白云仙有一个美丽动人的传说。相传唐朝末年。潭州王氏三兄弟仲真、仲魁、仲良在白云仙锯木为业。一天，兄弟三人锯了半天木，感到饥肠漉漉，可又没什么东西可充饥。他们找呀找，发现一株桃树上还有一个桃子。两个刁钻（汝城土话是聪明灵活的意思）的兄弟各吃了桃子一半，另一个老实厚道的只好吃桃核仁。兄弟三人吃下桃子后，都成了仙，飘然而去。兄弟三人的真身化为三座石山。吃核仁的兄弟化为了最高的石山，这就是白云仙顶上的锯板岩。后来，有一个峨嵋道士云游到此，看到锯板岩穿云雾，托朝日、擎夕阳，觉得是道家修身养性和弘扬道教的好地方，便多方化缘；在山顶上修了白云祠。并且也是有求必应，威灵无比。因山顶上一年大部分时间都白云缭绕，仙气缥缈。且常常是一日之内，四时之间，阴晦晴暝，景色各异、气象万千，人们就把白云祠叫做白云仙。山因祠名，这座山也就叫做白云仙。传说白云仙东有虎头岩、飞霞洞，北有鹤舒台，为蒋安期飞升处（广州越秀山也有鹤舒台，不知蒋安期从哪处飞升）。白云仙有月井泉，其味甘美。
白云仙在汝城县境内，位于道士仙西边，与道士仙拱照呼应，曾传唐朝景泰禅师坐禅于此，蒋安期在此山飞升。殿前有月井泉，泉水清澈见底，甘甜诱人，饮之益寿，周边百姓称之为“仙水”。白云仙有三大山峰，据说是唐朝潭州（今湘潭）人王氏三兄弟得道成仙所化，山顶上建有白云仙殿。山因祠名，此山也就众口相称为白云仙，每逢重大祭神日，湘粤两省方圆数百里善男信女都云集仙观朝奉，祈福许愿，络绎不绝。
