1947年6 月30日晚，在黄河北岸，随着一声号令，刘邓大军战船齐发，在鲁西南张科镇到临淄集300里地段上，刘伯承、邓小平指挥部队，按中共中央毛泽东的战略构想和部署，精心筹划，出敌不意，势如破竹，一举突破了国民党军自以为可抵40万大军的“黄河防线”，揭开了人民解放军战略进攻的序幕。刘邓大军突破黄河天险，蒋介石急得如热锅上的蚂蚁，慌忙调兵遣将，以第2 兵团王敬久纵队14个旅的兵力，死守郓城、菏泽、定陶一线，并以各路军马齐头并进，屯兵坚城，伏击侧背的诡计，逼迫刘邓背水一战，欲置其于死地。刘邓冷静地分析了敌情，果敢地决定将计就计，背水一战，发起鲁西南战役。7月4 日夜，刘伯承、邓小平率野战军指挥部在鲁西南寿张以南渡过黄河，跟进到鲁西南，在山东郓城以南的郑家庄安营扎寨。 7 月8 日晨，刘邓大军攻克郓城，10日，收复曹县、定陶。
此时，敌整编第70师一个半旅、第32师两个旅、第66师两个旅，分别抵六营集、独山集和羊山集。在巨野东南约80里处，从南向北，摆成了一字长蛇阵，全然不知陷于被动挨打的困境。而刘邓大军则摆脱了背水作战的危险局面，在黄河以南开辟了广 阔的战场。刘邓大军成功渡河之后，毛泽东在陕北窑洞里，酝酿着更为精彩非凡的战略构想。毛泽东电示刘伯承、邓小平：“要放手消灭敌人，歼敌越多，对山东粉碎敌人 重点攻势，乃至尔后跃进大别山均极为有利。”遵照毛泽东的这一指示，刘伯承决心采取“攻敌一点，吸其来援，啃其一边，各个击破”的战法，与邓小平一起要看蒋军跳黄河。
7 月13日，刘邓指挥部队以隐蔽果敢的动作，直扑王敬久的“长蛇阵”，迅速将其3 个师分割包围，于14日歼其大部，其余退守羊山。
羊山集是山东金乡城西北30华里处的一个大镇，居民千余户，村镇背靠羊山。羊山集东西长约3 华里，因为靠山，以石砖房居多，周围环有寨墙，并有外壕一道，东南两边地势低洼。该集北面有一座东西向长约2000米、高400 米孤山，有三个突出山峰，远处望去，犹如一只绵羊卧在那里，羊山集由此而得名。居民称东峰为“羊头”，中峰为“羊身”，西峰为“羊尾”，羊身高于羊头和羊尾，能瞰制整个羊山和羊山集。
此时正值雨季刚过，羊山集附近形成了沼泽地带。因羊山集一面靠山，三面环水，部队运动甚为困难。羊山集内国民党军的火力可控制羊山周围1000米的距离，有利于其固守和相互支援，易守难攻。陈再道指挥第2 纵队，陈锡联指挥第3 纵队，一起向羊山集地域敌第66师发起攻击，敌凭借坚固工事死守，我军连攻两天，未能奏效，伤亡不小。
7月15日，大雨滂沱。夜晚，野战军向羊山守敌发起围攻。二纵四旅从羊山西南角进攻，抵达西阁门；五旅攻占了羊尾。三纵八旅攻占了羊头；九旅进攻南门。佛晓时分，因受敌羊山制高点火力压制，被迫退出，总结经验，调整部署，准备再战。
16日12点，整编66师约一个团的兵力，分两路向南突围，企图逃跑。三纵九旅二十六团及二十五团一部，在刘庄一带进行截击，顽强扼守阵地，歼敌大部，其余掉头窜回羊山集。
17日，整编66师在羊山火力掩护下，进行反冲击。野战军除二纵五旅一个营占领羊山尾部及四旅一营占领西关外一所独立院外，其余全部退出阵地。部队伤亡较重。
7 月19日，蒋介石急飞开封城，亲自督战，又调来8 个师1 个旅的重兵驰援羊山集。就在这时，7 月23日，毛泽东从陕北致电刘（伯承）邓（小平）、陈（毅）粟（裕）谭（震林）和华东局，要刘邓改变作战方针，确定了确保与扩大战略主动权的军事部署。电报说：“刘、邓对羊山集、济宁两点之敌，判断确有迅速攻歼把握，则攻歼之，否则立即集中全军休整十天左右，除扫清过路小敌及民团外，不打陇海，不打新黄河以东，亦不打平汉路，下决心不要后方，以半个月行程，直出大别山，占领大别山为中心的数十县，肃清民团，发动群众，建立根据地，吸引敌人向我进攻打运动战。”同时，毛泽东还要求陈毅领导的华东野战军和陈赓谢富治集团配合向中原推进，共同实施战略进攻的任务，并规定陈谢集团挺进豫西后归刘邓指挥。这一部署，是毛泽东整个宏伟战略的关键部分之一。
正处于鏖战中的刘邓领会毛泽东主席的战略意图，但是他们也深深感到，不打好羊山集这一仗，下一步棋要走好也不容易。他们认为，各路援敌尚在行进途中，金乡之敌已无力北援，主力可以集中，完全有迅速歼灭羊山守敌的把握。这些敌人不歼灭，有可能增加南进的阻力。于是，决定继续攻歼据守羊山的敌整编第66师。
邓小平坚定地说：“攻羊山的部队不能后撤！”刘伯承幽默地鼓励将士们说：“蒋介石送上来的肥肉，我们不能放下筷子！”刘邓首长既希望尽早南下，又不想放弃这次歼敌机会。他们说，别看有蒋介石亲自坐镇，我们一定要啃下这块硬骨头。为此，刘邓调整了部署，加强炮火，使兵力上达到了1O：3 的优势。刘邓立即亲临羊山集前线，向正在组织攻打羊山集的指战员传达了中央军委的指示精神，并指示陈锡联、陈再道：“不能疏忽大意，更不能急躁”，命令他们要亲自到前沿看看地形，了解一下为什么攻不下来，与指战员一起研究如何打法，尽快把羊山集之敌歼灭掉。
7 月25日夜里，大雨倾盆，直下到26日黄昏，总攻计划无法实施，推迟到27日。这天得到情报，蒋介石于7 月25日向顾祝同发出命令：“刘邓被大雨所困，交通、通讯均发生困难，是围抄歼灭的良好时机。命王仲廉一日内赶羊山，与金乡王敬久集团、鲁道源58师合击刘伯承部。此战若予以彻底打击，则结束山东战事，指日可期。自明日（7 月26日）起，各部队即应逐渐与匪主动接战，望各级官兵猛打穷追，达成任务。希饬遵照。”
7 月27日，天气突然放晴，下午6 时30分部队发起总攻击。野炮、山炮迫击炮交织在一起，火龙似地射向羊山主峰。担任主攻任务的七旅十九团三营营长南风岚，指挥突击九连在炮火掩护下向前运动。此时，敌军暗堡火力点复活，十几挺重机关枪火力交织成一道火墙，羊头、羊尾的侧射火力也疯狂向九连侧射，前进受阻。离山头还有50米的时候，九连只剩下20几个战士。九连连长张玉喜组织战士扔出集束手榴弹，趁手榴弹爆炸时的烟雾，继续向一座断岩冲锋。九连战士越来越少。十连连长赵金来见断岩太陡，冲击困难，命令一排长带二班从右侧顺交通沟迂回上去，占领断岩，接应九连。这时，野战军一排炮弹落在断岩上。一排长趁着烟雾冲了上去。
28日拂晓，敌军大部被歼。师长宋瑞珂率领其亲信和三个警卫连残部，龟缩在羊山集东北角的一所院子里，作垂死挣扎。二纵六旅十八团接受围歼整编66师的命令后，马上命令三营围歼警卫一、二连；二连围歼敌警卫三连；一营围歼敌师部。在我军猛烈攻击下，三个警卫连纷纷缴枪投降。一营二连指导员葛玉侠、一排长白振东率领30余名战士攻打宋瑞珂退守的高楼，解放军高喊：“缴枪不杀。解放军优待俘虏。” 话音刚落，一名中尉举着双手，出来投降。宋瑞珂倒戴着军帽从楼内走出，规规矩矩地向葛玉侠行军礼。此时，朝霞映天，战斗结束。
羊山激战一天，蒋介石的第66师被全歼，击落飞机2架，摧毁坦克2辆，缴获野炮、迫击炮28门、各种小炮102门、轻重机枪367挺、手提机枪158支、长短枪2516支、汽车35辆、电台7部、骡马420匹。解放军也打得很苦，二纵队司令员陈再道将军后来感慨万端地说：“羊山集这一仗，是我们打得最苦的一仗！牺牲的战士最多！”至此，刘邓大军结束鲁西南战役，共歼敌5 石万余人，俘敌4.3 万余人，收复了鲁西南地区，从而打开了千里跃进大别山的大门。
宋瑞珂在以后的回忆录中说：“由于我顽抗了半个月，使双方损失都很大，使羊山集人民遭受惨重的损失，延缓了刘邓大军向大别山进军的时日，对国家人民造成严重损失，今天回忆起来不能不更加认罪忏悔……刘邓大军强渡黄河，旗开得胜，运用集中兵力各个击破的原则，进行这次战役还不到一个月，就歼灭蒋军九个半旅。这次战役的胜利，给蒋军以严重打击。”
战役结束的第二天，刘伯承伏在油灯下，在黄色粗糙的纸上写着：“我们勉作毛泽东式的军人，在政治责任与任务需要上，必须从战争中学习战争。”刘伯承为此兴奋地赋诗一首：
狼山战捷复羊山，炮火雷鸣烟雾间。
千万居民齐拍手，欣看子弟夺城关。
攻打羊山战役时，鲁西南人民承受了巨大的痛苦，其中还有一段是：敌军来到我巨野县昌邑乡赵楼庄，杀害了大量的为了掩护解放军的农民。据老辈人讲，当时血流成河……
