秦始皇帝三十三年（前214），秦始皇遣任嚣、屠雎略取岭南陆梁地，置桂林郡、南海郡、象郡。秦代始置四会县，属桂林郡。
汉高祖四年（前203），赵佗据岭 南立南越国，四会县为其属地。三国吴黄武五年（前226），将县东南部（即今三水、鹤山、新会、江门、开平、台山、斗门等县市部分地区）划出置平夷县（后改为新夷县、新会郡）。
隋开皇九年（589），废郡，撤销新招、乐成、化成3县并入四会县。大业三（607），复置南海郡。四会县与化蒙县同属于南海郡。
唐五德五年（622），以四会、化蒙三县地置南绥州。并复置新招、化注（原称乐成）、化穆（原称化成）3县，同隶于州。龙朔元年（661），佛教禅宗六祖惠能来四会，在扶卢山（信大南山北麓）藏匿于猎人队伍15年。
北宋熙宁六年（1073），四会割属端州（后改肇庆府）。
明洪武八年，在县治东建分巡岭西道行署。
1993年11月25日，国务院批准四会撤县设市。属肇庆市。