一，秦置太原郡《禹贡》并州域，西周为唐国，春秋曰晋国，战国属赵国。
秦庄襄王四年(公元前246年)置太原郡，治所在晋阳(太原市西南汾水东岸)，秦始皇时太原郡辖7县：晋阳、界休（山西介休）、邬（山西介休东北30里）兹氏（山西汾阳）离石、榆次、霍人（山西繁峙东）。包括今山西省五台山和管涔山南部一带、霍山北部一带地区。北魏时期辖地在今山西省阳曲县、交城市、平遥市、和顺县之间的晋中一带地区。
前140年汉武帝登基后置并州刺史部，汉代太原郡属并州，有“户十六万九千八百六十三,口六十八万四千八十八,县二十一”。那时的太原包括北至繁峙，南至 介休整个山西中部地区的太原盆地。
东汉时，太原郡和并州同治晋阳，建安十八年(213年)并州并入冀州。太原郡冀州。
三国魏黄初元年(220年)复置并州，太原郡和并州同治晋阳，晋因之。
十六国时，并州移至河东郡。太原郡仍属并州。北魏时太原郡和并州又同治晋阳。
北齐武平六年，太原郡和并州移治龙山县（太原市西南汾水西岸），北齐是的太原郡领龙山，晋阳，邬，榆次，中都，祁，平遥，沾，受阳，长安，阳邑十一县。北周因之。
隋开皇三年（583）废太原郡入并州。
二，南朝宋侨置太原郡宋元嘉十年（433年）析济南郡、泰山郡侨置太原郡。治山茌县（今山东长清县东南19公里之张夏镇）。辖山茌、太原、祝阿3县。属青州 。
公元471年，山东地区被北魏占据，改名东太原郡，以区别在今山西地区的太原郡。北魏初沿刘宋治山茌，孝昌2年（526)移治太原县（遗址今山东长清县城西南21公里孝里镇）。辖太原、祝阿、山茌（《魏书·地形志》误作荏）、卢县4县，属齐州。
北齐天保七年9557）废东太原郡。
三，南朝梁侨置太原郡南朝梁武帝天监五年（506年），在舜井，又名舜城(位安徽东至县故梅城南2公里处)侨置太原郡，领晋阳(侨于今安徽东至县张溪)、和城(侨于今安徽东至县东流镇)、天水(在今安徽东至县境)3个侨县，及彭泽县(治今江西彭泽县西南)，属南豫州。
太平二年(557年)十月，陈朝代梁，侨置太原郡改治彭泽县(治今江西彭泽县西南)，领彭泽，和城(仍治今东流镇)、晋阳(位今安徽东至县古晋阳乡，张溪一带)。属西江州(治浔阳，今九江市)。
隋开皇九年(589年)，平陈，调整州、县，废太原郡。
