朱可夫赋闲在家，晚景凄凉。
也就在这时，朱可夫认识了比他小30岁的加林娜，并与之结为夫妇。在朱可夫60岁那年，他们的女儿出生了。这期间，朱可夫花了极大心血写出回忆录《回忆与思考》，却被禁止出版。一气之下，朱可夫中风了。
在生命的最后9年里，朱可夫饱受病魔摧残。更令他痛苦的是，几乎所有的朋友都疏远、乃至背叛了他。只有巴格拉米扬和华西列夫斯基两位元帅冒着风险与他保持着友谊。
1973年年底，朱可夫深爱的妻子加林娜因乳腺癌病逝，而那时朱可夫已老得连去墓地的力气都没有了。爱妻死后不到8个月，朱可夫的病情更加恶化。他先是心肌梗塞复发，随后是心脏停跳。被注入特殊药剂后，他的心脏恢复跳动，但脑供血却没有恢复。就这样，戴着人工呼吸器，朱可夫毫无知觉地走完了生命的最后5天。
1974年7月18日，一代名将朱可夫元帅溘然长逝，享年78岁。他的葬礼，没有一位领导人出席，甚至生命的最后一刻，他也未被平反。1995年5月，俄罗斯纪念世界反法西斯战争胜利50周年之际，朱可夫的名誉才被彻底恢复。