朱元璋建立以应天为中心的根据地，在长江上游有陈友谅，长江下游有张士诚，东南邻方国珍，南邻陈友定。方国珍、陈友定的目标在于保土割据，张士诚则对元朝首鼠两端，没有多大雄心；陈友谅最强，是朱元璋占领应天后遇到的最危险的敌人。
陈友谅本是徐寿辉手下大将倪文俊的部下。后来他杀死倪文俊，并于1360年挟持徐寿辉，攻占了太平、采石。于是陈友谅以为应天唾手可得，就杀了徐寿辉，在采石称帝，国号汉，改元大义。
接着，陈友谅约张士诚东西夹击应天，平分朱元璋的领地，应天大震。朱元璋只好召集众将商量对策，一时众说纷纭。惟有刘基默不作声，朱元璋知道刘基有主张，于是征求他的意见，刘基认为目前最危险的敌人莫过于陈友谅，必须集中力量消灭他。虽然陈友谅势力强大，但是他杀君自立，部众离心，人民疲敝，故而不难战胜，只要等他们深入，再以伏兵击之，不难取胜。
朱元璋同意刘基的判断，于是设计诱敌深入，制造战机。朱元璋的部将康茂才和陈友谅是老朋友，于是康茂才修书一封，派人送到陈友谅营中，约陈攻击应天，并说愿意在江东桥作内应。
六月二十三日早晨，陈友谅率舰队主力赶到应天郊外的江东桥，才发现桥是石桥而非木桥，方知受骗中计。但为时已晚，朱元璋的伏兵奋起攻击，陈友谅大败。朱元璋收太平，占领信州、安庆。陈友谅败逃九江，第二年八月攻下安庆，于是朱元璋率军直取陈友谅的老巢江州，陈友谅逃往武昌，朱元璋攻克江西和湖北东南部。
正在这时，中原红巾军发生分裂，力量削弱。至正二十三年二月，张士诚乘人之危，派部将吕珍进攻安丰，刘福通向朱元璋求救。待到朱元璋率军赶到安丰时，刘福通已被吕珍杀死，朱元璋只救出小明王韩林儿，把他安排在滁州居住。
朱元璋率主力营救小明王时，陈友谅认为反攻时机已到，于是率兵进攻洪都(今江西南昌)。
朱元璋的侄子朱文正率领将士坚守八十五天。至正二十三年(公元1363年)七月，朱元璋统兵二十万，进发洪都，陈友谅获悉后，撤出围军，迎战朱元璋，双方在鄱阳湖展开决战。
鄱阳湖水战，从八月二十九日开始，至十月三日结束，进行了三十六天。朱元璋的军队充分发挥小船灵活的长处，火攻陈军，最终取胜，陈友谅被乱箭射死。
1364年元旦，朱元璋称吴王，建百官司属，仍以龙凤纪年，以“皇帝圣旨，吴王令旨”的名义发布命令。因1363年张士诚早已自立为吴王，故历史上称张士诚为东吴，朱元璋为西吴。
至正二十四年三月，朱元璋再次到武昌督兵攻城，陈理最终出城投降。在吞并了陈友谅后，朱元璋的下一个目标就是张士诚。
张士诚是泰州(今属江苏大丰市草堰镇)人，早年贩卖私盐为业。元末发动盐徒起义，于1354年在高邮称诚王，建国号为周，建元天。1356年，建都平江(今苏州)。消灭陈友谅父子后，朱元璋于至正二十五年十月进攻张士诚，一举攻下通州、兴化、盐城、泰州、高邮、淮安、徐州、宿州、安丰诸州县，将东吴的势力赶出江北地区。
至正二十六年五月，朱元璋发表檄文声讨张士诚。檄文列举了张士诚八大罪状，除了第四款和第八款与西吴有关外，其余的全都是指责张士诚背叛元朝。不看开头和结尾，非常容易使人误以为是元朝的讨伐令。这表明朱元璋已经以顺承天命的王自居，准备继承王朝的正统。
朱元璋的军队攻势迅猛，至正二十六年十一月，杭州、湖州先后投降，平江成为孤城。于是朱元璋以重兵包围平江，发动平江战役。
在围城的同时，朱元璋派廖永忠去滁州接小明王韩林儿到应天来，但在瓜州渡江时悄悄将船底凿漏，小明王沉于江底。接着，朱元璋宣布不再以龙凤纪年，称1367年为吴元年。平江战役开始时，朱元璋筑墙围城，并造有三层的木塔楼，高过城墙，以弓弩、火铳向城内射击，还设襄阳炮日夜轰击。城内一片恐慌，张士诚几次突围都以失败告终。张士诚反复无常，贪图享受，对部下也十分放纵。平江被围困的最后一天，张士诚弟弟张士信在城头督战，仍不忘享乐，坐在银椅上饮酒，左右侍奉的人递桃子给他，结果桃子还没到口，恰好一炮打来，脑袋被打得粉碎。朱元璋曾多次派人劝降，都被张士诚拒绝。张士诚死守平江，粮尽后，便以老鼠、枯草为食；箭尽了，便以屋瓦为弹。直至正二十七年(公元1367年)九月初八，朱元璋率军攻入平江城，张士诚则展开巷战相抵抗。最后，张士诚被俘，解往应天。朱元璋问话，他不搭理；李善长问他，他则破口谩骂。无奈，朱元璋只得命手下卫士以乱棍打死张士诚。当时张士诚47岁，东吴灭亡。
消灭东吴张士诚后，朱元璋大体上占据了今天的湖北、湖南、河南东部、江西、安徽、江苏和浙江，这些是全国最富庶、人口最稠密的地区。因此，进行大规模南征北伐的时机成熟了。
当时南方的形势是方国珍占据浙东、陈友定据有福建、明玉珍控制着四川，广东和广西则仍处在元朝统治中。在平江战役快结束之时，朱元璋已派参政朱亮祖率兵进攻方国珍，然后又命汤和为征南将军，从宁波进攻方国珍，方国珍于至正二十七年(公元1367年)十二月归降
