东晋南兖州“永嘉之乱”时期，北方人大批南下。晋明帝太宁三年（325)，侨置兖州于广陵（扬州市区）。晋成帝时，兖州改称南兖州，治所还于京口（镇江市区）。
南朝宋武帝永初元年(420)，撤南青州并入南兖州，侨置在广陵郡的原青州各侨郡侨县改属南兖州。
文帝元嘉八年(431)，改南兖为实州，分江而治，南兖州割江淮为境，治广陵（扬州市区），南兖州领广陵、海陵、山阳、盱眙(治所今盱眙县东北)、秦(治所今六合县北)、南沛(治所今安徽省天长县西北)、新平(治所今海安县)、北淮阳(治所今宿迁县东南)、北济阴(治所当在今扬州境内)、北下邳(治所当在今江苏省境内)、东莞(治所当在今江苏省境内)11郡。
齐高帝建元四年(482)，南兖州领广陵、海陵、山阳、盱眙、南沛五郡。
北齐文宣帝天保三年(552)，南兖州归属北齐，并改名为东广州，下置广陵、江阳2郡。
陈宣帝太建六年(574)，东广州入南朝，复称南兖州。十一年，南兖州又入北朝，并改名吴州，置总管刺史。仍治广陵。
隋文帝开皇三年九年（589），改吴州为扬州，置扬州总管府。仍治广陵。
大业三年(607)，改扬州为江都郡，治江阳县（开皇十八年广陵县改称邗江，炀帝大业元年称江阳）。
北魏南兖州北魏正始四年（507 年），侨置南兖州于涡阳(今安徽蒙城县东北)，正光年间(520一525)移治小黄(今安徽亳州)。太清元年（547 年）入梁。侯景乱后，入东魏。武定八年五月，入北齐。北周建德七年二月，置南兖州总管府，州及总管府均治小黄。北周大象元年（579年），因南兖州地处古“南亳”近畿，故“遥取古南亳之名以名，改称兖州为亳州。
