甲胄鱼纲的最早化石可能出现于晚寒武世，而一般公认为出现于奥陶世，即异甲亚纲的Astraspis,而可惜全系碎片，对其形态构造无法了解。
至中、晚志留世，在苏格兰的海相地层中发现了腔鳞亚纳的Thelodus和缺甲亚纲的Jamoytius,两者是最早的，比较完整的化石纪录。可是，对其系统演化仍未清楚。
晚志留世，甲胄鱼纲的种类和数量开始兴旺起来，其中腔鳞亚纲的绝大多数类在当顿期出现。异甲亚纲的绝大多数种类在当顿期出现。异甲亚纲的绝大多数种类在当顿期出现。异甲出纲在当顿期出现更多。骨甲亚纲的大多数种类也在当顿期出现，少数的罗德洛期出现。
早泥盆世，可羽是甲胄鱼纲的全盛时代，万其骨甲亚纲和异甲亚纲最繁荣，而到中、晚泥盆世，大为衰落，仅残存极少数了。腔鳞亚纲，此时已趋向绝灭。缺甲亚纲此时已大为衰落，至晚泥盆世，仅个别的残留分子了。
整个甲胄鱼纲也随着泥盆纪的结束而绝灭。