新余市历史悠久。在市区东北部拾年山原始社会遗址出土的大量石器、陶器表明，远在5000年前的新石器时代，先人就在这里繁衍生息。
自三国吴宝鼎二年（267）置新渝县（分宜春置新渝，因境内有渝水，故名）以来，其行政建制几经变更。隋朝开皇九年（589）撤县，并入吴平县。开皇十八年(598)由宜春划出复置新渝县。唐朝武德五年（622）撤县，分新渝东北部置始平县，县西南地域为西吴州。武德七年始平、西吴州俱废，复置新渝县。唐朝天宝元年（742）县名因传写之误将渝改为喻，以后相承作喻。元朝元贞元年（1295）因有人口5万余户，升为州。明朝洪武二年（1369）改州复县，隶属临江府。清沿明制。中华民国时期亦为县建制。
第二次国内革命战争时期（1930～1934年），在中国共产党领导下，先后建立大片革命根据地。1930年5月在良山镇的上木元村成立新喻县苏维埃政府，下辖东区、西区、南区。1932年3月，新喻、峡江两县苏维埃政区合并，成立新峡县。新喻设水口、丰城、东路、姚泗等4个区。1934年10月，红军长征，苏区全部丧失。
中华人民共和国成立以后仍为县建制。1949年7月14日，新喻解放，属袁州专区（专员公署驻宜春）。1953年，新喻县属南昌专区（袁州、南昌两专区合并，称南昌专区，专员公署驻南昌）。1957年5月，国务院公布，将新喻改名新余，沿用至今。1958年，新余县属宜春专区（专署驻地由南昌迁宜春，改名宜春专区）。1960年9月，为适应钢铁工业发展，经国务院批准撤销新余县设立新余市，由省直辖。1963年，由于新余钢铁工业建设规模压缩，撤销新余市，恢复新余县，仍属宜春专区（后改称宜春地区）。以后，新余地区工业建设得以复苏并迅速发展，以钢铁工业为主体的多门类工业形成体系，1983年7月经国务院批准恢复新余市，并将宜春地区的分宜县划归新余市管辖。1983年10月，江西省人民政府批准在原新余县管辖的范围内设置渝水区。2000年3月，市委、市政府决定设立中共新余市仙女湖风景名胜区委员会和新余市仙女湖风景名胜区管理委员会，赋予其县级党政管理职能。2001年11月，中共新余市高新技术经济开发区工作委员会和新余市高新技术经济开发区管理委员会成立，分别为市委、市政府的派出机构，正县级建制。
新余县的行政区域自唐朝武德七年后几无变化。中华人民共和国成立后，1953年，新余东部区域稍有变动；1959年，新余北部行政区域有少许变化
