此糖原名陬市“洋糖”，是陬市传统的季节性名特产品，古代就曾有民谣“桃源（指县城）的酒，陬市的糖，河伏的油条丈把长。”丈把长的油条纯属夸张，但桃源的名酒，陬市的“洋糖”却是名副其实的。
陬市“洋糖”起源于明末清初，它的前生为桃源乡下的管子糖。管子糖外沾芝麻，内为实心，乍看和后来的桂花糖一模一样。但味道大不相同，一无桂花的香气，二无糖芯的甜味，三无包壁的松脆。有一年，陬市一位糕点师傅随木商放排到南京，见到南京的糕点有几样有桂花的香味，很受启发。回来后，便在管子糖内加入桂花粉末。开始，香气是有了，但无糖芯，吃起来仍旧硬梆梆的。
不久，巡抚传令征展各地名产，这位师傅便再次赴南京求教，并巧配良方，日夜研制。经过一番努力，终于制出了一种形似管子糖，空心、圆梗、香甜可口的糖来。
这种糖送给县令和抚军，并作为贡品转呈宫内，均被列为“佳品”，受到嘉奖，从此名声大哗，销路越来越广。并随着购油买木的的港商飘洋过海，远销国外。“洋糖”也因此而得名。以后，随着历史的推进，“洋糖”的制作方法不断有所改进，质量也不断有所提高，“洋糖”便演变成了桂花糖，并被评为全国优质产品，两次获得银质奖章。
桂花糖选用油沾大米煎制蚀糖，以白糖桂花为心糖，火功适宜，上麻均匀，支条整齐。用来制作的桂花必须新鲜芬芳，待到桂花盛开，把鲜花从树上采下。再加白糖制密封，便成了作心糖的原料。桂花糖对桂花的选择十分严格，制作也十分考究。
桂花糖是桃源的特产之一，它驰名中外。但桂花糖的传说并不是人人都知道的。 好多年以前，桃花源里长着一棵青桂树。这棵青桂树树干不粗，但枝叶长得格外茂盛。它二十五年打一次苞，五十年开一次花。桂花一开，香味好浓好浓，飘得好远好远。飘到山上，山香了；飘到水里，水香了。引得远近的人都到这里来看桂花。从花开到花谢，日子共有个把月，因此，花一开，前来赏花的人总是不断线。
这一年，青桂树又开花了，可是桂花刚开，就遇到一阵狂风，把花都吹落在地上。又被风一扫，扫到山角里。只听见“轰隆”一声塌了一堆土，把桂花埋在土里。赶来赏花的人感到很奇怪，今年青桂树应该开花，怎么树上只见叶子不见花？不过他们议论了一阵也就回去了。不久就把这件事忘记得干干净净。
日子又过去了十多年，人们又闻到一股股青桂花的香味。这香味，比以前更浓更醇，飘得更远，所以大家又赶来赏花。可是青桂树上的桂花没有开。这股香气是从哪里来的？原来这香气是从离青桂树不远的土巴肚里飘出来的。桃花源的土巴变香了。
这消息一下轰动了上村下落的人，来的人就更多了。邻村姓王的兄弟俩，也来看稀奇。回到家里，弟弟不解地问哥哥，土巴怎么会染得香？哥哥也认为这里面恐怕有名堂。兄弟俩一商量，决定挖开泥土看一看。
弟弟性急，背起锄头就走，哥哥随着跟了出去。他俩在香土边挖呀挖，挖了三天三夜，一直挖进去三丈三，最后，锄头挖下去，从土肚里冲出一股香气，兄弟俩被熏得醉醉的，倒在了地上，过了很久很久，他俩才醒过来，睁眼一看，地上铺着桂花，身上盖着桂花，土肚里那股香气带着桂花还在往地上喷。怎么肚里会喷出桂来？兄弟俩一默神，这才想起十多年前那青桂树只开了阵子花，桂花就无影无踪的事来。莫不是桂花埋在这土肚里了？一埋就是十多年，如今竟这么香，这么醇！兄弟俩捧着桂花放到鼻子下闻了闻，香香的带点酒气，放在嘴里尝了尝，软软的带点甜味。他俩把这些桂花一担一担挑到家里，挖了个大坑，用泥封起来。从此以后，他们就做起了桂花生意。人们听说是五十年才开一次花的青桂花，都争着来买，仅仅几天，挑来的桂花就卖了很多。兄弟俩一商量，又想出了新办法：用大米做成糖，一锅糖，撒一把桂花在里头，这种糖一上市，销得飞快，人们吃着甜甜的，闻着香香的，谁不争着抢着买呀？兄弟俩赚了钱，又开起了齐行，这齐行不卖别的，专卖这种糖。
兄弟俩做的糖渐渐出了名，手艺也越来越精，后取名为洋糖，这也就是后来的桂花糖。一直到现在，桂花糖仍是桃源的特产。
