毛泽东边吃边用筷子指着饭和菜，风趣地说：“今天是彭绍辉同志请客啊！”彭绍辉说：“很惭愧，没有什么好吃的。”“这不是很好吗？”毛泽东说。吃饭时，毛泽东、周恩来、朱德等人边吃边和战士亲切交谈，询问部队情况，鼓舞官兵土气。
中央红军与红四方面军会师后，彭绍辉调任红四方面军第三十军参谋长，因反对张国焘拒绝中央北上方针、主张南下的错误，差点被枪毙。后被调到红军大学当政治科长兼军事教员
1935年6月中旬，中央红军（后改红一方面军）在懋功（今小金）与红四方面军会师。中共中央根据会师后的形势，确定了北上建立川陕甘根据地的战略方针。不久，中央军委决定从一方面军抽出几个当过师长的同志到红四方面军工作。彭绍辉被派往红四方面军三十军任参谋长。对命令、调动从来不讲价钱的彭绍辉，对这次调动，他却有些犹豫。因为他自参军以来一直都在红一方面军工作，红四方面军他完全不熟悉。但他还是服从命令到红四方面军报到。
到红四方面军后，彭绍辉看到广大指战员生活朴实、紧张，执行命令坚决，作战非常勇敢，他决心把红一军团参谋工作的好经验带过去，团结好广大指战员，执行中央的正确路线。他主动搞好同志关系，将自己一个心爱的望远镜也送给了军长。一个多月以后，部队对他的工作反映很好。
8月下旬，红四方面军越过草地，抵达四川西北的阿坝地区。9月，张国焘拒绝接受中央北上方针，擅自命令左路军和右路军的红四军、红三十军折回草地南下，说是打到芦山、天全去吃大米。还放出风声，说党中央的路线错了，要“审定”中央路线，并扬言要另立中央。彭绍辉听了，心情异常不安。一天晚上，军长和政委都到总部开会去了，他突然接到叶剑英从右路军发来的电报，大意是：关系破裂，望你们迅速赶来，跟中央北上。他知道事态严重，便与一些同志连夜从达戒寺出发，去赶中央红军。那天晚上，到处黑沉沉，看不清道路，辨不准方向，只有天上的北斗星指引着他们前进。走了三四个小时，到了下包座附近，被红四方面军政委陈昌浩发觉，堵在路上，气势汹汹地训斥了一顿，把他们带到红四方面军总部附近的一间破房子里住下。他一连两夜不能成寐，伏在床上写了一封长信，向朱德报告情况，第二天托第九军团一个同志代为转呈，不料，此信落到了张国焘手中。张国焘十分恼怒，派人通知他去谈话。
彭绍辉未曾见过张国焘。走进屋里，见很多人在开会，他正想给朱德总司令敬礼，坐在旁边的-个人蓦地站起来，劈头盖脸地痛骂他一顿，并质问他为什么见了张主席不敬礼？为什么反对南下？反对张主席？反对成立新中央？越讲火气越大，掏出驳壳枪，推上子弹，把枪口顶在彭绍辉的胸膛上。在这紧急时刻，朱德几步赶上，夺过驳壳枪，厉声喝止道：“同志！这是党内斗争。”那个同志见下了他的枪，抡起手，狠狠地打了彭绍辉一个嘴巴。朱德气愤地说：“打人是不对的，这是党内斗争，应该允许同志讲话。”这时的张国焘，若无其事地坐在那里，一言不发。朱德又说：“这样谈话怎么行呢？”然后亲切地对彭绍辉说：“你回去吧！”
