然而1937年，斯大林开始对苏联军队进行血腥的“大清洗”，朱可夫此时已在红军中服役20多年。尽管他历史清白，所在部队也深受斯大林信任，但仍然有人打报告诬陷朱可夫滥用职权，同时为几个国家的特务机关服务。这是朱可夫一生中面临的第一次严峻考验，负责“清洗”的内务部工作人员已经带着相关的文件出发，前往朱可夫所在部队驻地……就在这千钧一发之际，斯大林却突然命“清洗”人员撤回，朱可夫就这样幸运地逃过“清洗”。关于这一情况，一般认为是朱可夫的骑兵背景帮了忙。当时的苏联元帅中，骑兵出身的都受到了斯大林重用，而其他人则大多在劫难逃。
1939年6月，躲过“大清洗”的朱可夫，升任驻蒙苏军第一集团军群司令，指挥苏蒙军队成功地实施了围歼日军重兵集团的哈拉哈河战役，最终粉碎了日军北进的企图。朱可夫因此被首次授予“苏联英雄”称号。1940年6月，他晋升为大将，并被任命为基辅特别军区司令，次年升任苏军总参谋长，成为苏军的首脑人物。
直言犯上经历宦海沉浮
1941年6月22日，纳粹德国突然进攻苏联，打得苏军措手不及，损失惨重。为了抵御侵略，6月23日，苏联成立最高统帅部大本营，朱可夫成为7名成员之一。是年7月29日，作为总参谋长的朱可夫建议斯大林放弃基辅，全力保卫莫斯科，斯大林厉声说:“把基辅交给敌人，亏你想得出！简直是胡说八道！”朱可夫忍不住反驳:“斯大林同志，如果您认为我这个总参谋长只会胡说八道的话，您把我的职务撤销好了，把我派到前线去，或许在那里我会对祖国有点用处。”在场的人都愣了，当时斯大林在苏联是绝对的权威啊！房间里静得吓人，好半天斯大林才说了一句话:“朱可夫同志，冷静些。请你先出去，我一会儿叫你再进来。”朱可夫推门而出。
半个小时之后，斯大林把朱可夫叫到办公室来，说:“朱可夫同志，我们方才商量了一下，决定解除你的职务。我想让你到前线去。”朱可夫说:“到哪个部队？”斯大林说:“你愿意到哪儿？”朱可夫回答:“我可以做任何工作，指挥一个师，一个军，一个集团军，一个方面军——只要祖国需要。”
斯大林一听，朱可夫还有气，就说:“我从现在开始，任命你为预备队方面军司令员。你准备什么时候去？”朱可夫说:“1个小时之后，我离开莫斯科。”
一意孤行的斯大林，最终看到的是基辅战役中66万苏军被围歼的悲剧。而1941年9月6日，朱可夫率领预备队方面军在叶尼亚地区成功地实施了卫国战争中的首次进攻战，粉碎了德军的先头部队，令军心大振。胜利当天，朱可夫打电话给斯大林，汇报战果，可斯大林只说了一句“知道了”就挂了。
