刘伯温从此开始了为朱元璋充当谋臣的人生新路。
作为深受儒家文化洗礼的刘伯温，这么快就倒向一个传统观念中的“乱臣贼子”，其中当然有多层因素的作用。史籍中流传一个“西湖望云”的故事，说刘伯温早在投朱之前就发现金陵（即南京）有所谓“天子气”，所以决心“辅之”。这无疑是无稽之谈。刘伯温之投效朱元璋，首先自然缘于对元政权的失望；其次，此时朱元璋的一些作为契合刘伯温的期待—朱元璋部队的军纪相对较好，朱元璋本人比较能够礼贤下士，朱元璋表现出了强烈的统一天下的愿望，这些都是他区别于其他群雄，而对刘基这样知识分子具备吸引力的地方。除此之外，还有两点非常重要：一是朱元璋打出了民族牌，以驱除异族政权为号召；二是此时的朱元璋已经意识到，要想统一天下，一味的大破坏是不行的，还必须着手于建设，而要进行建设的工作，又必须依靠缙绅阶层，尽可能维护他们的利益。
早在刘伯温辞官隐居期间，他就在《郁离子》中说，要“稽考先王之典，商度救时之政，明法度，肄礼乐，以待王者之兴”。而此时的朱元璋，颇有一些“明法度，肄礼乐”的气象，他成为刘伯温心目中正在兴起的“王者”，不是一种很自然的事情吗？
关于刘伯温在朱元璋打天下过程中的作用，虽然不像传说中那样神奇，但他和其他知识分子一起，帮助朱元璋在乱世中恢复秩序，是值得历史肯定的。
朱元璋统一天下，刘伯温和其他开国功臣一样得到了封赏，这似乎实现了他的人生抱负，但作为儒家知识分子，新朝的肇建又使刘伯温自觉背负了一种新的使命，这就是“导君于正”，使新皇帝符合儒家的政治文化传统。而就是在这方面，刘伯温开始品尝苦涩的滋味，因为在朱元璋这样的雄主手下讨生活，实在不是一件容易的事情。
刘伯温入明后活了七年有半，在这不算长的时间里，他先后几次受封，又几次被打发回乡。从他第一次被斥退的经历中，可以看出“伴君”确实是一件危险系数极高的工作。当时南京从夏天到秋天一直没有下雨，求雨也没有效果，刘伯温借机指出了三条弊政：一是阵亡将士的妻子数万人都被迫住在“寡妇营”，不许外出；二是为营建工程的工人死亡，尸体暴露不收；三是敌方头目既然已经归诚投降，就不适宜充军。古人认为天象由人事决定，刘伯温借求雨的机会进谏，使朱元璋只好同意其请，可过了十来天仍未降雨，朱元璋立即作出了“刘基还乡为民”的处罚。但刘伯温被免职仅三个月，朱元璋又想起了他，令他火速从家乡赴南京，恢复了其官职。而到了洪武四年（1371年），他在得到封爵之后，再一次被赐归。
