最先发现的喜好高温的古生菌来自美国黄石公园。古生菌的生活环境常常是极端环境，即普通常见的生物是很难生存的高温、强酸强碱或盐浓度很高的环境中。例如温度超过100℃的深海地表的裂缝处、温泉、以及极端酸性或碱性的水中。它们还存在于牛、白蚁和海洋生物的体内并且在那里产生甲烷。它们生长在没有氧气的海底淤泥中，甚至生长在沉积在地下的石油中。某些古菌在晒盐场上的盐结晶里生存。对光敏感的菌红素使盐杆菌带有美丽的红色，菌红素可以将太阳的光能转变为古菌生活所需要的化学能。便用来合成作为细胞能源的ATP。菌红素是一种蛋白质，在化学结构上和脊椎动物视网膜上的色素视紫质很相似。
要证明古生菌的生存环境类似地球形成的早期，最好是找到古老地质年代的化石遗存，探寻古生菌化石面临许多难题。首先它们是很微小的生物，因此留下的是显微化石，科学家必须花费很多时间去加工样品，还要耐心地去看显微镜。而更麻烦的是，如果发现了纤维生物的化石，怎样去区分古生菌和细菌的化石呢？
古生菌和细菌形状和大小相似，因此根据外形不容易确定。于是要靠这些微小生物的显微化石中的化学成分来判断，我们可以叫它做化学化石，这些化学化石中存在形形色色的化合物，这就要求我们寻找那些特征性的化合物残迹。合乎要求的是某种只存在于某一类生物中的化合物，例如只存在于古生菌中，而不存在于细菌或真核生物中的那些化合物，同时这些化合物在过去亿万年中不容易发生分解作用，即使发生了分解，分解产物也应该是可以预测的化合物。上面说过，古生菌细胞里含有特征性的类异戊二烯化合物链，它们不容易被高温分解。因此它成了一种表明古生菌存在的很好的化学标记。德国科学家在古老的岩石中发现了这种化合物，据推测很可能是产甲烷菌留下的。在西格林兰岛的某些地方存在大约38亿年前的古老的沉积层，其中就留下了古生菌的“化学指纹”，所以从古化石中证明古生菌在地球形成后的第一个十亿年中已经出现。
