东汉置淮南郡东汉兴平元年（194），袁术改九江郡为淮南郡。建安四年（199），术亡改称九江郡，仍兼扬州治（五年，改治合肥）。黄初二年，封文帝子曹邕为淮南公，改九江郡为淮南国。三年，进爵淮南王。四年，改为淮南郡。太和六年(232年)，改封曹操子白马王曹彪为楚王，改淮南郡为楚国。嘉平元年(249年)，国除为淮南郡。淮南郡治寿春县（今安徽寿县城关镇），领7个县：合肥、成德、寿春、下蔡、西曲阳、平阿、义成。
晋太康十年十一月甲申，改封司马允为淮南王。永泰元年(300年)八月，国除为郡。永兴元年(304年)，分淮南郡的历阳、乌江县置历阳郡，淮南郡领14个县：义城、平阿、当涂、下蔡、寿春、钟离、阴陵、东城、西曲阳、成德、合肥、逡遒、全椒。
东晋咸和三年(328年)，石勒控制淮南郡。常设4个县：寿春、阜陵、合肥、逡遒。七年，复归东晋。后赵建武十一年(345年)，淮南郡又入后赵。石虎太宁元年(349年)，入晋。
太和四年十月，入前燕，淮南郡仅设1个县，即寿春县。
晋太元八年(383年)十月，苻坚亲率倾国之兵攻陷寿春。十一月，复归东晋。前秦淮南郡设2个县，寿春、下蔡。
北魏淮南郡，仍治寿春县，领3个县：寿春、汝阴、西宋。
北周复建淮南郡，治领寿春县。隋开皇二年（582），废郡。大业三年四月，改寿州为淮南郡，治寿春，领４个县：寿春、安丰、霍丘、长平。
唐武德三年，改隋淮南郡为寿州。
东晋置淮南郡永嘉乱后，淮南流民南渡江南，加上苏峻、祖约乱，淮南流民大批渡江，东晋咸和四年(329年)，侨置淮南郡于于湖县（在今安徽当涂县南三十八里），属侨置的豫州。太元初(约376年)，改属豫州，领6个县：于湖、繁昌、当涂、逡遒、定陵、襄垣。晋末土断，割于湖为境，改属扬州。
刘宋永初二年(421年)，分江淮淮南立南豫州。五年，改属南豫州。次年三月乙巳，撤销淮南郡，并入宣城郡。八年六月戊寅，恢复淮南郡，仍治于湖县，属南豫州。泰始三年(467年)，回属扬州。七年，以淮西(北)没入北魏，复分淮南为二豫州，淮南郡改属南豫州，领6个县：于湖、繁昌、当涂、逡道、定陵、襄垣。
齐建元二年(480年)，罢南豫州，淮南郡改属扬州。永明二年（484），复属南豫州。陈淮南郡领4个县：于湖、当涂、襄垣、西乡。太建八年（576），立陈叔彪为淮南王。
隋开皇九年（589）平陈，废郡。
