始建于1908年，黑龙江巡抚周树模“思泛舟江湖，以谋临流之胜”，两次邀请张朝墉设计改建仓西公园(今龙沙公园)，在南墙外，凿沟引人嫩江，在沟西侧覆土为边山，在山顶建一草亭，初名未雨亭，登亭西望，江水波光粼粼，岸边绿树成荫。1930年将草亭改建为砖木结构亭。南北宽、东西窄，楼高25米，占地约220平方米。
1950年和1979年进行了两次修缮，增修了石阶、石墙、石梯、屏风等。建国后，党和国家领导人刘少奇、周恩来、朱德、董必武、邓小平等先后光临齐齐哈尔市，到望江楼观光赏景。1964年7月21日，朱德委员长、董必武副主席、刘伯承副委员长来齐齐哈尔市视察，游览了龙沙公园。登楼远眺，神清气爽，嫩江水碧波荡漾，齐齐哈尔风光尽收眼底，朱老总即兴挥毫题写了“望江楼”三个大字，后将其制成黑底金字的长匾悬挂于飞檐之下，故改称为“望江楼”。董必武亲书"龙沙万里"匾额。1987年，望江楼被齐齐哈尔市政府列为市级重点文物保护单位。