该馆由中国工商银行上海市分行主办、上海市民政局登记注册的上海市银行博物馆于1998年6月开始筹备；经近二年筹建，于 2000年 4月 9日正式开馆，中国工商银行行长姜建清、上海市委副书记龚学平为银行博物馆揭牌。
上海市银行博物馆是上海乃至全国首家金融行业博物馆，它以其简明、翔实的史料实物及生动、鲜明的表现手段，以上海近代银行发展史为主线，浓缩了上海150年的银行沧桑。上海市银行博物馆展厅面积1500平方米。博物馆包括历史馆、钱币馆和展示厅，收集银行各类藏品计20，000余件，陈列展品计2，000余件。其中较有历史
价值的有钱庄存折、帐册、汇票，各个时期的银行印章、支票、股票、徽章、器具、早期银行使用的试金石、对金牌、天秤等，还有较为珍贵的两千多年前战国楚国“郢爰”、西汉时期的“金饼”、王莽时期的“金错刀”、至元宝钞、革命根据地纸币、中国人民银行发行的第一套人民币等。
银行博物馆还设“清末民初钱庄”、“兑换银元”、“80年代初人民银行储蓄所”四个场景，采用高分子材料制成的人物雕塑栩栩如生。为生动体现改革、开放以来上海银行业蓬勃发展面貌，在2000年底，又增添了上海外滩和浦东陆家嘴金融贸易区建筑模型，采取光、声控现代科技手段，展现上海银行业在改革、开放中日新月异的巨大变化。
上海市银行博物馆自开馆以来，参观者络绎不绝。受到社会各界的关注与好评。上海电视大学、上海高等金融专科学校等大专院校要求将银行博物馆作为他们学生的第二课堂，要使每一个学生都要到这里来上一课。来自上海财经大学研究生部、复旦大学经济学院、华东师范大学商学院和上海大学悉尼工商学院，上海大学中欧国际工商学院的学生，参观后都感到大饱眼福。对上海百年金融历史有了更为深刻的了解，纷纷表示要努力学习，今后有志于中国金融事业。银行博物馆在海外及港澳地区也产生了一定的影响。2000年在上海举行的亚太地区储协年会与会代表、2001年 APEC会议代表、2002年亚洲开发银行年会代表、香港银行公会访问团、全市外资银行百余名行长都慕名前来参观。外国友人热情洋溢留言：“这是一个非常有趣、非常美妙的博物馆”、“我们看到了中国金融的过去，更看到了中国金融的美好未来！”
上海市银行博物馆不仅成为工商银行企业形象的一个重要窗口，也成为上海金融文化的一个亮点。
