话桑楼在瑞安城关小东门外。楼以摘"把酒话桑麻"句命名，又因登楼可赏览飞云江景色，故又名飞云阁，清光绪二十四年（1898）黄体芳等人筹建。1924年，进步组织"中山主义研究会"和"瑞安民社"在此秘密聚会。1926年，中共瑞安特支在此成立。