多年生活在衡阳的百姓都知道，香花堂是台湾新任“行政院长”刘兆玄先生的祖居。但是，关于香花堂更为详尽的历史背景，却鲜为外人所知。香花堂地处衡阳县的边界，西接邵东，北临双峰，人们戏称此处为“一脚踏三县”。这里名不见经传，却历来大官、博士、名流辈出。
香花堂始建于清朝初年，青砖碧瓦、雕梁画栋、规模宏大。在清朝康熙年间这里已经成为远近闻名的大户人家。那时的香花堂共有三正七横，上正是刘氏家族的祠堂，内设檀木浮刻龙凤神龛，龛中刻有本宗刘氏历代先祖神位，左右镌刻祖训对联“遵祖训，克勤克俭”、“教子孙，或读或耕”。每逢初一、十五或本宗有喜，香花堂的刘氏子孙皆会齐聚于此，焚香拜祭祖先。
中正是由四根大木柱撑起的一个大厅，是本宗身份尊贵和辈分较高的人物聚首议事的地方。大厅照壁正中高悬一块“纯佑堂” 的三字大匾（“纯佑堂”是“香花堂”的别称），四周墙上均挂有巨幅匾额，最多时中正共挂大匾七块，分别书有“百操永芳”、“香花济月”、“淑德延龄”、“百世流芳”等溢美之词。
三正则是一个较大的休息间，四壁与屋顶全为木材精装吊顶，中设八仙桌椅，供族人休憩闲聊。七横皆为刘氏家族的起居室，刘兆玄先生的祖屋就正在这七横之中。
1907年6月，刘兆玄的父亲刘国运在香花堂出生，他自幼天资聪慧，机敏过人。在本族书院读书时就表现出异于常人的勤奋，无论炎炎夏日还是三九寒冬，终日手不释卷。“刘国运先生17岁离开香花堂，中途因为料理父母亲后事，与夫人钟畹芳分别回来过一次。”
早年间，香花堂的适龄孩童皆被送入书院，习《三字经》、《增广贤文》、《幼学琼林》和四书五经。据刘氏家谱所载：自刘兆玄的父亲刘国运先生以上六辈就有清朝太学生6人、邑庠生5人、郡庠生4人、文林郎2人，授九品衔1人、五品衔1人、登仕郎2人、贡生1人。其中，刘兆玄先生的曾祖父志和公就被清朝赐五品衔，赏带蓝花翎。后辈们自然是纷纷效法先祖，诗书传家。
民国时期，香花堂又先后走出五位大学生、五位中专生。其中，最令刘家后辈引为楷模的就要数刘兆玄先生的父亲刘国运，这从他堂侄刘绍伯的名字中便可见一斑，“绍伯”名字的由来就是取“继承伯父”之意。
