历史上，像南京玄武湖这样命运多舛的湖泊并不多见；除了经常被迫更换名称之外，玄武湖忽大忽小，时有时无的行列经历，也不是其它湖泊所能比拟的。
玄武湖古名桑泊，原来只是一块因断层作用而形成的沼泽湿地，三国时代吴王孙权引水入湖后，玄武湖才初具湖泊的形态。
自玄武湖开始大量蓄水之后，人工改造的工程就从未停过，湖泊本身也因地理位置、环境或功能的不同而频频更名。
玄武湖初期的名称叫做“后湖”或“北湖”，取名后湖的原因是玄武湖的位置正好位于钟山之阴，对南京城的居民来说，山背的这座湖泊当然称为后湖；至于北湖名称的由来，则是因为玄武湖位六朝京城之北，取名北湖自然也有它的命名依据。
另外，“玄武”这两个字的实际意义指的是“北方之神”，“玄武湖”和“北湖”这两个名词其实也没有多大的差别。“玄武”是中国神话故事中的四神之一，它的具体形象是龟与蛇的复合体，玄武和青龙、白虎、朱雀共同代表著东南西北四个方位，其中玄武湖实际上就是北湖的意思。
玄武湖曾两度遭到浩劫，一次发生在隋文帝时，另一次则发生在宋神宗在位时。隋文帝灭了南陈之后，曾下令将南京城夷平，玄武湖就在这个政策下首度消失了两百多年；宋神宗时，王安石调任江宁府尹，提出了“废湖还田”的主张，南京城遇雨成灾的恶梦从此挥之不去，一直到了元朝疏浚措施完工之后才稍获改善。
明太祖朱元璋定都南京后，大肆扩张南京城的范围，玄武湖从此成为南京城东北城墙外的护城河，规模也大幅缩小。在民国初年，玄武湖一度改名五洲公园，直到1950年后，全面整建后，才又再度改回玄武湖的旧称。
