东晋末人，宋武帝刘裕的族弟。其曾祖父刘淳，时刘裕曾祖武原县令刘混之弟，位至正员郎。祖父刘巌，任海西县令。父亲刘涓子，任彭城内史。原先刘裕的儿子们都幼弱，宗室中只有遵考可用。到北伐平定后，用他作并州刺史，兼河东太守，镇守蒲坂。关中失手，撤回河南，又迁任冠军将军。晋恭帝让位后居住秣陵宫，遵考领兵防卫。刘裕即位初年，封他为营浦县侯。元嘉年间，多次迁任宁蛮校尉、雍州刺史，加都督衔。遵考实行严厉残暴的统治政策，聚敛财富没有节制，被官吏检举揭发，皇上压住不予追究。孝武帝大明年间，位至上书左仆射，兼任崇宪太仆。后来老病失明。元徽元年死去，赠左光禄大夫、开府仪同三司，谥号元公。