1934年10月，任红十三师师长的陈伯钧率部开始长征，经过多次血战，突破敌四道封锁线后又重回红五军团参谋长岗位。遵义会议后，毛泽东重新回到红军最高指挥岗位，陈伯钧的军事才华得以更出色地展示。红五军团长期担负着中央红军的殿后任务，要掩护大军西去、北上，常常遭到敌军重兵追击，需要付出更多的艰辛劳累、流血牺牲。有的同志想不通、发牢骚，但陈伯钧顾全大局，坚决执行中央命令，做好部队官兵的思想工作，并指挥部队打了许多漂亮仗。陈伯钧也因此在红军高级将领中获得了“铁屁股”的美誉。
红一、四方面军会师后，陈伯钧调任红四方面军九军参谋长，对张国焘分裂党和红军的行径，进行了面对面的坚决斗争，因此遭到了残酷斗争和无情打击。当时，他被只身赶出红九军，坐骑被扣，望远镜被抢，警卫员也被打。但陈伯钧始终坚信毛泽东和党中央北上路线的正确，以坚韧的毅力，强忍委屈，顶住压力，当好红军学校的教员。后来在朱德、刘伯承等力荐下，张国焘不得不重新起用陈伯钧任红四军参谋长。红二、四方面军会师后，陈伯钧又被朱德、任弼时、刘伯承委以红六军团军团长重任。
1937年9月，红军主力改编为八路军时，陈伯钧被任命为一二○师三五九旅旅长，时年27岁。
解放战争中，陈伯钧率部挺进东北，重返前线指挥部队。先后任合江军区司令员、东北军区第一前方指挥所副司令员、第四野战军十二兵团第一副司令员，率部参加了辽沈、平津战役。接着，任十二兵团第一副司令员兼四十五军(后改五十四军)军长，率部参加了衡宝、广西等战役。新中国成立后，陈伯钧先是领导广西的大规模剿匪战斗，接着任十二兵团副司令员兼湖南军区第一副司令员，领导湘西、湘南的剿匪战斗。湘桂两省的剿匪战斗复杂艰巨，战果辉煌，至今留下许多脍炙人口的传奇故事。
1955年，陈伯钧被授予上将军衔，荣获一级八一勋章、一级独立自由勋章、一级解放勋章。被选为第二、三届全国人民代表大会代表，并被任命为中华人民共和国第一、二、三届国防委员会委员。
诲人不倦师生情
早在1926年底，陈伯钧考入武汉中央军事政治学校(即黄埔军校武汉分校)，就作为学生，聆听过毛泽东的教诲。当时正处于国共合作时期，共产党员、军校总教官恽代英经常给学生讲课，毛泽东也曾应邀到学校演讲。当然，那个时候的毛泽东并不认识这位台下听讲的16岁学生兵。但陈伯钧从见到毛泽东的第一天起，就深深地被毛泽东的渊博学识、动人演讲和平易近人的风度所感染。
