义乌市档案馆的前身是义乌县档案馆，初建于1959年10月1日。1962年6月精简机构时撤销，档案工作并入县委办公室，称义乌县委档案室，代行县档案馆职能。1969年4月建立义乌县革命委员会政治工作组档案室，负责管理全县的人事档案、文书档案，隶属县革委会政工组。1970年12月改称义乌县革命委员会办事组档案室，隶属县革委会办事组。
1980年1月30日恢复义乌县档案馆，同时建立中共义乌县委办公室档案科，档案科和档案馆合署办公，一套班子、两块牌子。1988年1月1日建立义乌县档案局，县档案局与档案馆合署办公。1988年7月义乌撤县设市，义乌县档案局、义乌县档案馆分别改称义乌市档案局、义乌市档案馆。
1994年2月，市档案局、市档案馆分设，市档案馆为市档案局下属的事业单位。1996年机构改革，市档案局与市档案馆合并，为正局（科）级事业单位，行使档案行政管理和档案保管利用两种职能，归口市委办公室管理。
2002年机构改革，仍设置义乌市档案局（义乌市档案馆），为市委办公室管理的正科级事业单位，实行一个机构，两块牌子。现档案局（馆）设有办公室、业务指导科、收集保管科、编研宣传科四个内设机构，承担全市的档案业务指导、档案业务建设和档案宣传等工作。
义乌市档案馆是义乌市唯一的一家省一级综合性档案馆，截至2005年年底馆藏有317个全宗，计152288卷（盒、幅、枚、张）档案。
馆藏档案的主体是建国后义乌市党政机关、群众团体和企事业单位的档案，还有部分临时机构、撤销单位的档案。这些档案系统反映了解放以来各个历史时期义乌的政治、经济、文化、教育、卫生、科学、外事、民政、兴商建市、小商品市场等国民经济和社会发展情况，是研究义乌历史状况、进行编史修志、工作查考的宝贵史料。
除此之外，还有15个全宗4724卷的民国历史档案。从门类结构看，有文书档案、科技档案、专门档案（包括土改时期土地证存根、土地房产清册、农业税清册及人口普查档案、工业普查档案、会计档案、统计档案等）；从载体看，除纸质档案以外，有照片档案、声像档案、字画档案、实物档案。现保存有吴晗同志捐赠家产的亲笔信；中央和省领导对义乌的题词；党和国家领导人朱镕基、严济慈等视察义乌的照片；全国劳模黄昌桂、吴加澍等捐赠的奖章、证书等；还有反映该市旧村改造旧村原貌的光盘。
除档案以外，义乌档案馆还收集了图书资料11061册，分为史志类、法规类、名人与宗谱类、报刊杂志类、年鉴类等十七个大类。
义乌市档案馆是金华市级文明单位，多次被评为省级档案工作先进单位，1992年7月定为省三级综合档案馆，1996年10月晋升为省二级综合档案馆，1998年3月又升为省一级综合档案馆,2001年10月被浙江省档案局评为全省农业农村档案工作先进单位，2003年12月被浙江省人事厅和浙江省档案局表彰为全省档案系统先进集体。据统计,十五期间，义乌市档案馆平均每年利用档案4431人次，14431卷次，复印16198张，平均每天（每月按23天计算）接待档案利用者16人次，52卷次，复印59张。
2003年，档案馆提供利用档案高达5599人次、14992卷次，复印18748张。同2000年的2043人次，4821卷次，复印3182张相比，呈现了2-3倍的增长。同改革开放初期的1980年的206人次和396卷次相比，出现了20.7和37.9倍的增长。
同全省2002年95家各类综合档案馆的平均人次和平均卷次相比，义乌市档案馆的档案利用人次和卷次是全省平均数的7和7.1倍。近几年来，义乌市档案馆档案利用人次、卷次、利用收费不仅一次次创义乌市档案馆历史新高，可能在全省的县级市当中也是名列前茅。
1988年以来，根据《中华人民共和国档案法》规定，开始分期分批向社会开放满30年的档案，极大地满足了社会各界对档案的需求，取得了较好的社会效益。凡大陆公民持身份证等有效证件可直接在馆内利用开放档案，台、港、澳同胞和外国人应经有关单位介绍或直接向本馆申请，经过本馆同意后可以利用开放档案。