早在创建井冈山革命根据地初期的1927年10月，毛泽东就派陈伯钧、游雪程和徐彦刚三人，去“绿林好汉”袁文才的部队帮助练兵、培养革命干部，完成了团结、教育、改造这支地方农民军的任务。陈伯钧任连长时，曾奉命带领袁文才部一个班的兵力，护送毛泽东下井冈山去茶陵寻找主力部队。下山第二天，陈伯钧让这个班战士回山归建，只和毛泽覃带几名战士继续护送毛泽东。经过一天急行军，他们在距茶陵五六里的小村庄住宿打探消息。由于人少，大家商议夜间轮流放哨，毛泽东亲自安排，与陈伯钧一起负责下半夜到拂晓的警戒。夜半时分，茶陵方向的枪声逐渐稀落下来，攻城的红军部队不向井冈山撤退，却往南向水口方向撤退，后来证实是团长陈浩叛变所致。毛泽东预感事态严重，决定立即向南追赶部队。路上，毛泽东问陈伯钧：“假若后面敌人追来怎么办？”陈伯钧立即回答：“我同警卫员在后面打掩护，你们只管往前走好了。”他们终于在掌灯时分赶到水口，追上大部队，随即召开干部会议，将陈浩等人撤职，押回井冈山受审。同时还决定部队折回井冈山，向宁冈县砻市开拔。为此，毛泽东又命陈伯钧连夜抄小道往砻市送信给永新县委，做好迎接大部队的准备。陈伯钧圆满完成了这一任务，受到毛泽东的表扬。
在井冈山斗争时期，陈伯钧率领所属部队，按照毛泽东制定的正确的战略战术，在战争中学习战争，打了许多恶仗、硬仗。他任连长时经常带领部队担负攻坚任务，在永新北乡指挥战斗中，身先士卒，腿部中弹，负了重伤；任红三军第七师师长时，率部打响了第一次反“围剿”的第一枪，并指挥部队攻入敌师部，活捉了敌师长张辉瓒；龙冈战斗胜利后，追击敌谭道源师，歼灭该师过半，缴获步枪2000余支，机枪46挺；反击敌公秉藩师时，巧妙运用战术，抄小路预先设伏，将公秉藩师全部缴械。每战之后，陈伯钧都要总结经验教训，指挥艺术越来越高，仗也越打越精，他在中央苏区历次反“围剿”作战中曾屡建战功、三次负重伤，荣获过中革军委颁发的二等红星奖章。
当毛泽东受到以王明为代表的“左”倾错误路线的打击，被撤销红一方面军总政委和前委书记职务时，陈伯钧也因坚定地支持毛泽东的主张被免去红十五军军长职务，调到红军学校学习。任红五军团参谋长时，陈伯钧因不满当时一些人在反“围剿”中的错误指挥，曾上书红军总部明确表达自己的观点，遭到错误批判，被降职为红十三师师长。但是不管遭到怎样不公正的对待，陈伯钧始终充满革命乐观主义精神，坚信共产主义，坚信毛泽东的正确领导。他率领的红十三师常常能在短时间内力克强敌，连打硬仗，曾被中革军委誉为“红军坚师”，毛泽东曾因看了该师连打胜仗的战报，兴奋地喊过“十三师万岁”。
