伍晋南是广东兴宁人，1926年加入共青团，1927年参加农民运动，1928年加入中国共产党，历任广东梅县南区区委书记，五华县赤卫大队政委，红军独立三师青年科科长、组织科科长，红一方面军第三军团政治部破坏部部长，参加了二万五千里长征。1936年后任陕北红二十八军政治部主任，八路军一二O〇师716团政治部主任，第四纵队政治部主任。1940年至1942年在延安党校学习。1943年后任陕甘宁边区留守兵团政治部副主任，358旅政治部主任。1945年“八一五”后，任吉林省工委副书记、副政委、军区政治部主任。1946年至1949年，任吉林省吉北地委书记，安东省第四地委书记，安东省办公室主任。1949年11月南下，任广东省北江地委书记兼北江军分区政委，粤北区党委书记兼粤北军分区政委，粤中区党委书记兼粤中军分区政委。1954年夏至1975年冬在广西工作，历任广西省委副书记、广西省委书记处书记、广西壮族自治区第一、二、三届党委书记处书记，兼任广西壮族自治区监察委员会书记、自治区党校校长。“文化大革命”期间，伍晋南受到残酷迫害。1978年调任陕西省政协副主席。
党的十一届三中全会后，1983年经党中央同意，广西壮族自治区党委作出决定，给伍晋南予以彻底平反，恢复名誉。伍晋南是党的七大代表，第一、第三届全国人大代表。于1999年3月23日在广州逝世，终年90岁。
