１９０１年生，原名徐象谦，字子敬。山西五台县人。黄埔军校第一期毕业。曾任国民军第二军第六混成旅教导营教官、参谋、副团长。１９２７年任武汉中央军事政治学校队长，同年加入中国共产党。广州起义中任工人赤卫队第六联队长。土地革命战争时期，历任工农革命军第四师第十团党代表、师参谋长、师长，中国工农红军第三十一师副师长，红一军副军长兼第一师师长，红四军参谋长、军长，红四方面军总指挥，红军右路军总指挥、西路军军政委员会副主席。参加了长征。抗日战争时期，历任八路军一二九师副师长，八路军第一纵队司令员，陕甘宁晋绥联防军副司令员兼参谋长，中国人民抗日军政大学代校长。解放战争时期，历任晋冀鲁豫军区副司令员，华北军区副司令员兼第一兵团（后改为第十八兵团）司令员兼政委。
建国后，历任中央人民政府人民革命军事委员会（中央军委）总参谋长，人民革命军事委员会副主席，中共中央军委副主席，国务院副总理兼国防部部长，第一至三届国防委员会副主席，第三、四届全国人大副委员长。是中共第七、九、十届中央委员，第八、十一、十二届中央政治局委员。
１９５５年被授予元帅军衔。
１９９０年９月在北京逝世，终年８８岁。