东晋置本汉揭阳县地，晋义熙九年(413年)置，治所在今福建云霄县北火田镇西林村，属义安郡。南朝齐尝为义安郡治；梁、陈复为义安郡属县。隋开皇十二年(592年)，并入龙溪县。
南朝宋置南朝宋永初三年(422年)，分宣城郡的广德、吴兴郡的故鄣、长城郡的长城及阳羡郡阳羡、义乡5个县地置绥安县(治今安徽广德县桃州镇)，改属扬州义兴郡。
南朝梁天监二年(503年)，撤销义兴、绥安县，并组石封县(治今桃州镇)，改属宣城郡。
中大通二年(530年)四年正月庚午，宣城郡为王国(都宛陵)。石封县属之。
大宝元年(550年)，置广梁郡，石封县为郡治。
陈永定二年(558年)广梁郡改为陈留郡，石封县仍为郡治。
隋开皇九年(589年)，改石封县为绥安县(治今桃州镇)，属宣州。
大业三年四月，绥安县属扬州刺史部宣城郡(治宣城)。
武德元年(618年)八月，绥安县(仍治今桃州镇)属楚王杜伏威控制区的宣城郡(仍治宛陵，今宣州市区)。三年六月，杜伏威降唐，置桃州(治绥安)，绥安县为治所在。六年，属辅公祏宋国。七年，平江南，废桃州。绥安县改属宣州都督府宣州(均治宣城)。
天宝元年(742年)，改宣州为宣城郡(仍治宣城)。绥安县属之。
至德二载(757年)九月，因肃宗痛恨安禄山叛乱，改绥安县为广德县(仍治今桃州镇)， 属江南西道宣城郡。
元至正十六年，改广德路为广兴府，改广德县为广阳县(均治今桃州镇)，属江南行省。
洪武元年(1368年)八月，广兴府直隶中书省。四年九月，广兴府改为直隶广德州，广阳县改为广德县(均仍治今桃州镇)。
十三年正月，直隶广德州直隶六部。四月，撤销广德县，并入广德州(仍治今桃州镇)
南朝梁置梁武帝大同中（535年至546年）置，县治在今四川营山县三元乡兴福寺。属景阳郡。隋开皇三年（583）废郡，绥安县改属蓬州。开皇十八年（598）绥安县更名咸安县。