克留奇科夫出生在俄罗斯西南部的伏尔加格勒，曾当过装配工和律师，还当过检察院的检察长。后来，克留奇科夫进入一所外交学院学习，并加入“苏联国家安全委员会”（即克格勒）工作。1954年～1959年他被派往前苏联驻匈牙利大使馆工作。
在匈牙利期间，克留奇科夫担任尤里·安德罗波夫（后于1982年~1984年担任苏共中央总书记）的助手。1967年安德罗波夫就任克格勃主席后，克留奇科夫得到了提拔和重用，开始平步青云。
1974年，克留奇科夫被任命为克格勃海外间谍工作主管，负责克格勃在海外的情报工作。1988年，前苏联领导人米哈伊尔·戈尔巴乔夫任命他为克格勃主席。
克留奇科夫情报生涯中遭受的最大挫折是在1985年。当年，克格勃在与英国情报机关的“斗法”中失败，使俄罗斯著名双面间谍奥列格·戈迪夫斯基得以成功逃往英国，此人是前苏联克格勃历史上级别最高的背叛者，原先是克格勃间谍，1960年被苏联派驻丹麦的时候被英国国外情报局策反，成为双面间谍。
“8·19”事件：
他将戈尔巴乔夫赶下台
克留奇科夫政治生涯中最值得关注的经历是在1991年8月19日反对时任前苏联领导人戈尔巴乔夫的事件中充当了事实领导人的角色。
1991年8月19日，克留奇科夫与其他的苏共强硬派一起，利用前苏联领导人戈尔巴乔夫休假之机，成立国家紧急状态委员会。1991年8月17日晚，克留奇科夫签署文件，宣布戈尔巴乔夫生病，国家进入紧急状态。当时，作为“克格勃”首脑的克留奇科夫签署了接管令,宣布接管国家全部权力，以“挽救面临解体危险的苏联”。但是短短3天后，他们的行动就宣告失败，克留奇科夫等人被捕入狱。
被捕后的克留奇科夫被诉以叛国罪罪名，甚至可能被处死。但是到了1994年2月，俄国家杜马（议会下院）决定，赦免并释放克留奇科夫等人。
分析人士称，克留奇科夫等强硬派发起的“8·19”事件削弱了戈尔巴乔夫的势力，让鲍里斯·叶利钦——后来的俄罗斯总统“渔翁得利”。“8·19”事件过后3个月的1991年12月，前苏联解体。有人称，尽管克留奇科夫在形式上只是“8·19”事件的一名普通参与者，但可以说是他一手将戈尔巴乔夫赶下台的。
在事件发生后的近20年间，克留奇科夫一直将戈尔巴乔夫和叶利钦称为“叛国者”，批评他们造成了前苏联解体。对于自己的参与，他坚定地说：“对于所做一切并不后悔。”不过，据说他后来还是给戈尔巴乔夫写了一封道歉信。
后苏联时代：
普京的“军师”
克格勃机构在1992年随着前苏联的解体而被解散了，但西方媒体称，它的“现代版本”俄罗斯联邦安全局如今仍然势力强大。
1994年被赦免后，克留奇科夫的大部分时间都是在莫斯科郊外的一个小村里度过，但时不时会在公开场合亮相，并接受一些报章媒体的采访，谈论苏美、俄美关系，预测俄罗斯未来命运，发表批评美国、指责西方阴谋反对俄罗斯的言论。最近几年，克留奇科夫还出版了他的回忆录，赚了一大笔钱。
今年9月，他接受采访时说俄罗斯会因美国的汇率、全球化和核材料泄露而被拖垮。对于俄罗斯的未来他感到十分悲观，他认为除非和乌克兰、白俄罗斯和哈萨克斯坦等国交好，否则俄罗斯无法回到苏联时期所拥有的世界地位。
由于在克留奇科夫担任克格勃主席时，俄罗斯现任总统弗拉基米尔·普京正好是他的下属，在东德工作，因此两人关系密切。普京2000年出任俄总统时，就邀请了克留奇科夫出席就职典礼。在普京担任俄罗斯总统后，经常邀请克留奇科夫出席克里姆林宫的重大活动。据俄罗斯媒体报道，克留奇科夫有时候还会充当现任总统普京的“军师”，为他提供一些建议。
由于和普京的这层关系，克留奇科夫这几年的曝光率大增。他多次公开称赞并呼吁支持普京，抨击西方国家阴谋削弱俄罗斯。就在上个月，克留奇科夫还发出警告称，俄罗斯各安全机构之间争夺势力范围的竞争会造成“大麻烦”，并且与其他一些克格勃前特工共同呼吁安全机构的各股势力团结在普京周围。
