中国银行大厦的原址是上海德国总会。1914年第一次世界大战爆发后，德国总会被中国政府接管。中国银行以63万两银元买进，于1922年改建成银行营业楼，1934年建新楼，1937年建成。这幢大楼是外滩(中山东一路段)众多建筑中惟一一幢由中国人自己设计和建造的大楼，是上海最成功的摩天大楼之一。 中国银行大厦分东西两幢大楼，西大楼为4层钢筋混凝土结构建筑，东大楼是主楼，高15层，地下层2层，共17层，钢框架结构。采用中国民族风格方形尖顶，其他栏杆及窗格等处理富有中国民族特色，每层的两侧有镂空图案，中国银行大楼是近代西洋建筑与中国传统建筑结合较成功的一幢大楼。 中国银行原定建造34层楼，使之成为上海第一高楼，由中国银行建筑部的建筑师陆谦受设计，英商公和洋行外国建筑师任顾问，并由一流的陶桂记营造厂承建。隔壁的沙逊大厦业主维克多·沙逊出来干涉，提出高度不得超过沙逊大厦金字塔尖顶，官司从南京一直打到伦敦。结果，中国银行放弃原来计划，新建大楼比沙逊大厦金字塔顶矮了60公分。 1937年，大楼建成后，中国银行总行与上海分行均迁入新楼办公。不久，抗战爆发，上海沦陷，中国银行总部被迫迁往内地。
1941年，太平洋战争爆发，银行被汪伪中央储备银行占用。抗战胜利后，中国银行接收了日本横滨正金银行、德国德华银行和被汪伪改组的中国银行。解放后收归国有，现在为中国银行上海分行办公楼。