义乌市精神卫生中心在1976年初创办于义北山区的东塘乡，原名为义乌县精神病医院，设床位22张，只有工作人员9人。1982年为扩大医院规模，方便群众就诊，医院整体搬迁至苏溪区杨梅岗村原市委党校旧址，并在撤县建市时更名为义乌市第三人民医院。1994年市府批准在市区城北路85号新建义乌市第三人民医院新址，于1995年12月第二次整体搬迁。在2004年初市委市府为适应新形势下群众对精神卫生工作的新需求，决定由市人劳局、财政局、卫生局、机构编制委员会等有关领导部门对我市精神卫生工作的现状及前景进行了科学全面的调查论证，于2005年6月30日由市机构编制委员会下文批准将义乌市第三人民医院中的精神卫生工作职能分离出来，成立义乌市精神卫生中心，为全额预算事业单位。
义乌市精神卫生中心占地四十亩，正式职工92人，专业技术人员73人。其中主任医师1名、副主任医师4名、中级职称16人。设有普通专科门诊、专家门诊中西医结合门诊、失眠门诊、心理咨询门诊等五个精神心理专科门诊和心身病区、男病区、女病区等三个住院病区，设有住院床位120张，在2006年底被评为二级乙等专科医院。拥有较齐全的医疗设备和全套心理测试系统，承担了义乌市170余万常住和外来暂住人口的精神疾病预防、治疗、康复、咨询、科研和心理卫生知识普及、社区康复指导等职责。
