北魏建义元年（528），置南绛郡，治所浍交川（今山西绛县东北大交镇）。辖南绛（今山西绛县东北大交镇）、小乡（山西翼城东南）二县。属晋州。
538年（西魏大统四年、东魏元象元年），东魏占领浍交川。西魏移郡治车箱城（今山西绛县东南大5公里）。
554年（西魏恭帝元年，北齐天保五年）西魏去南宇，为绛郡（治车箱城）。北齐仍称南绛郡（治浍交川）。
576年（北周建武五年，北齐隆化元年），北周攻克北齐河东地，北齐南绛郡废入北周绛郡。明年绛郡移郡治浍交川（今山西绛县东北大交镇）。
隋开皇三年（583），绛郡废入绛县。