不久，一批反对张国焘的同志被剥夺了对部队的指挥权，彭绍辉被调到红四方面军红军大学去当政治科长兼军事教员。他憋了一肚子气，闷闷不乐。朱德总司令、刘伯承总参谋长（兼红大校长）经常开导他说：你们一方面军来的几个同志，都是好同志；这是党内斗争，不要操之过急，问题是一定会搞清楚的；到“红大”去，还要努力工作，要贯彻遵义会议精神，宣传中央北上的正确方针；红四方面军的广大干部是好的，要同他们搞好关系，争取共同北上抗日。彭绍辉接受了首长的教导，对工作未曾稍懈。
红四方面军与红二，六军团（后编为红二方面军）会师后，彭绍辉调任红六军团参谋长，参加红二方面军长征，与红一方面军胜利会师
1936年7月初，红四方面军与红二、六军团在四川甘孜地区会合。7月5日，红二、六军团奉中革军委电令，组成中国工农红军第二方面军，红三十二军编入红二方面军建制。会合后，在朱德、任弼时、贺龙、关向应、刘伯承等的斗争和红四方面军指战员的要求下，张国焘被迫同意与红二方面军共同北上。于是，彭绍辉又跟随部队第三次爬越雪山，跋涉草地，重新经受严寒、饥饿和死亡的考验。
8月25日，彭绍辉接到朱德总司令命令，调任红二方面军六军团参谋长。8月26日，彭绍辉骑马出发，于9月6日到达甘肃南部地区的礼县岩湾红六军团驻地，见到了红六军团军团长陈伯钧、政委王震、政治部主任张子意等。他不顾征程的疲劳，立即投入到进攻礼县、两当、凤县的战斗中去。他根据敌情和军团首长的作战决心，向军团各师交待作战任务，下达战斗命令，亲临前沿侦察敌情，及时调整行军和作战部署。
9月14日，红六军团主力由红河镇到达余家坪集结，准备以三天的行程向两当县进发。根据军团的作战和行军计划，彭绍辉部署，以第十六师为前卫，第十八师为后卫，第十七师、模范师、军团直属队、军团卫生部顺序跟进。彭绍辉要求各部队，各级干部在行军中对地形、道路认真仔细侦察。各部队在行军中要封锁消息，严密伪装，遵守时间。
红六军团先头部队经过三天两夜400多里的急行军，于9月18日赶到两当县城外。拂晓，部队发起攻城战斗，守敌除少数逃脱外，其余全部被歼。随后，红六军团又相继攻占了徽县、成县、康县。由于凤县城防工事坚固和守敌的顽抗，两次攻城都没有成功，红六军团为避免与敌人在不利地区及不利情况下作战，防止遭到敌人前后夹击，为按期实现中央会师西北的计划，决定退出两当、徽县地区，转道渭水，继续北上。
