韵海楼在湖州市区飞英公园内，清同治《湖州府志》有载：“韵海楼在府治后。颜真卿在郡著《韵海镜源》因以为名。”
清康熙五年（1666）曾任湖州知府的吴绮，其《玉楼春词并序》称：“颜真卿守是土，延诸名士作《韵海镜源》一书于上，朱甍画栋，宏敞壮丽，为一郡大观。”或曰：“真卿著《韵海镜源》本在杼山，后人慕其事而名此楼耳。”韵海楼始建唐大历八年（773），现在所存的五楹楼屋系清代重建。
这是一座五开间的楼厅，前连长廊，青瓦粉墙，朴素雅洁。楼前有香樟、女贞等树，登楼可观公园全景，雄胜、凤山、迎春三亭以及假山、水池等尽收眼底。
据颜真卿撰并书的《杼山妙喜寺碑铭》称，《韵海镜源》一书他早年就已着手编纂。该书是引《法言》、《说文》诸字书，“穷其训解，次以经史子集中两字以上成句者，广而编之，故曰‘韵海’，以其镜照源本，无所不见，故曰‘镜源’。”颜真卿在唐大历七年（772）到湖州任刺史后，继续从事编纂，并“以俸钱为纸笔费，延江东名士萧存、陆士修、裴澄、陆羽等十余人，笔削旧章，核搜群籍，撰定为三百六十卷。”这部书稿先在州学“日相讨论至冬”，后移到当时称为“郡之胜绝，游者忘归”的杼山定稿。当时和颜真卿同在湖州的著名 诗僧皎然曾有《韵海楼诗》赞扬此举，诗道：“世学高南郡，身封盛鲁邦。九流宗韵海，七字揖文江。惜赏云归堞，留欢月满窗。不知乐教乐，千载与谁双！”
《韵海镜源》是一部著名的古代字书，可惜其书早已散失。州人为表彰颜真卿在文字学上的巨大贡献，乃建韵海楼以纪念之。
