考诺诺夫生于1902年，在1918年俄国内战中，他的父母亲因为是哥萨克人而被红军处死。为了活下去，1920年，考诺诺夫隐姓埋名加入红军；1924年，他加入了共产主义青年团；后来，他进入了著名的哥萨克人布琼尼元帅领导的第一骑兵集团军第14哥萨克师。
1927年，考诺诺夫加入了共产党；1935年，考诺诺夫成了骑兵大队的队长，团级干部，隶属于第五贝利诺夫骑兵师；在进入伏龙芝军事学院后，他开始成为了一位参谋。1939年，考诺诺夫开始指挥第436自动步枪团，并被授予了红星勋章。
1941年8月3日，他集合全体士兵，向他们发出号召：“勇敢的士兵们，我从心底向你们呼吁，在深思熟虑后，今天要向暴君斯大林和专制宣战了！我决定与同情我们事业的人共同战斗。那些愿意追随我的人请举起右手，否则请举起左手。”结果，整个步枪团都跟随他去了，这成了东线战场上最离奇的事件之一。
其实，考诺诺夫在投降前已经和德军秘密接触过，他了解到德国人对他的投诚报以极大的热诚。投降8天后，考诺诺夫去了设在白俄罗斯的一处战俘营，这里关押着4000名俄罗斯人，在考诺诺夫的动员下，500名战俘加入了德军，其中80%是顿河哥萨克人。为了安抚这些投诚的哥萨克人，德国将军冯·申肯多夫违背了希特勒的命令，授权考诺诺夫组织了哥萨克第102骑兵团。