黄山市博物馆是在原徽州地区博物馆的基础上建成的。原馆址设在古街，1987年迁入徽山路24号坞山脚下现馆。现馆为殿宇式三层建筑，占地面积15000平方米，建筑面积3850平方米。 其中展厅面积近700平方米，库房1000平方米。由于明清两代徽商的极度繁荣，所以徽州又称“文物之海”。因得地利之优，黄山市博物馆馆藏极为丰富，收藏有陶瓷、砚台、徽墨、书画、徽派三雕、青铜器、玉器、杂项、古籍图书、徽州文书等各种文物近10万件（册），是我市最大的综合性博物馆，也是安徽省第二大博物馆。馆藏的歙砚、徽墨、新安书画、徽州文献是我馆的特色藏品。其中宋墓出土的“文府墨”更是我国墨业的执牛耳者，馆藏的徽州文书成为研究徽学这一国际性显学的重要资料，也引起世界范围内的徽学专家的关注。
黄山市博物馆现有职工21人，设有馆部、陈列群工部、保管研究部、保卫科。保卫科实行24小时值班制，建有健全的《安全保卫制度》、《库房管理制度》和《陈列管理制度》。曾经学举办过《毛泽东诞辰一百周年图片展》、《太平湖恐龙化石展》；配合黄山国际旅游节举办过《黄山市二十年成就展》和《台北故宫博物馆副院长江兆中先生书画展》以及《黄山市书、画家作品展》、《大风堂弟子游三辉书画展》、《黄宾虹书画珍品展》等，现有长期陈列《新安画派书画展》和《徽派三雕艺术陈列》。每年接待中外游客、本地市民及中小学生约2万多人，起到了较好的宣传黄山作用，为配合黄山旅游二次创业，打黄山牌、做徽文章、我馆正筹划《徽州历史文化展》。
黄山市博物馆多年来坚持社会效益第一的原则，面向社会开放，把博物馆的社会功能较好地发挥出来。根据文化部和国家文物局的要求，近几年来，我馆一直坚持对末成年人实行免费开放，开放以来，每逢节假日和周末都接待众多中小学生，几年累计3万多人次。该馆1995年被命名为市级爱国主义教育基地，2001年被命名为省级爱国主义教育基地。
