古生菌微小，一般小于1微米，虽然在高倍光学显微镜下可以看到它们，但最大的也只像肉眼看到的芝麻那么大。不过用电子显微镜能够让我们区分它们的形态。虽然它们很小，但是它们的形态形形色色。有的像细菌那样为球形、杆状，但也有叶片状或块状。特别奇怪的是，古生菌有呈三角形或不规则形状的，还有方形的，像几张连在一起的邮票。有的古生菌有鞭毛，例如詹氏甲烷球菌（Methanococcus janaschii）在细胞的一端生有多条鞭毛。鞭毛是一种像头发一样的细胞附属器官，它的功能是使细胞能够运动。
古生菌是原核生物，像细菌一样，没有核膜，它们的DNA也以环状形式存在。不过，它的tRNA分子（转移RNA）有些不同于其它生物的特征。转移RNA分子是一种相对比较小的核糖核酸分子，它对解读DNA的遗传密码、合成蛋白质至关重要。细菌、动物、植物、真菌的转移RNA的结构特征是相同的，但是古生菌的tRNA分子的结构却很特别，所以要区分古生菌和细菌，搞清楚这种分子的结构有关键性的意义。古生菌的转移RNA的许多特征更近似真核生物的，倒不太像细菌的。同样，古生菌的核糖核蛋白体的许多特征也更像高等真核生物如动物和植物的，例如细菌的核糖核蛋白体对某些化学抑制剂敏感，而古生菌和真核生物却对这些抑制剂无动于衷。这使我们觉得古生菌和真核生物的亲缘关系更近。
像其它生物一样，古生菌细胞有细胞质、细胞膜和细胞壁三种结构。古生菌细胞也有一层把细胞和外部环境隔离开的外膜。在膜内包裹着细胞质，其中悬浮着DNA，古生菌的生命活动在这里进行。几乎所有的古生菌细胞的外面都围有细胞壁，这是一层半固态的物质，它可以维持细胞的形状，并保持细胞内外的化学物质平衡。在细菌和大多数生物细胞中可以区分这三部分，但是仔细观察每部分，就会发现它们只是结构相似，而化学成分并不相同。
换句话说，古生菌像其它生物一样构建同样的结构，但是它们用不同的化合物来构建。例如所有细菌的细胞壁含有肽聚糖，而古生菌没有这种化合物，虽然某些古生菌含有类似的化合物。同样，古生菌不像植物细胞壁中含有纤维素，也不像真菌那样含有几丁质，它们有特殊的化学成分。而不是脂肪酸。
古生菌与其它生物最显著的化学成分差异是体现在细胞膜上，基本差别有4点：1）甘油的立体构型；2）醚键；3）类异戊二烯链；4）侧链的分支。
（1）甘油的立体构型。组成细胞膜的基本单位是磷脂。这是在甘油分子一端加上了一个磷酸分子，另一端则加了两条侧链。当细胞膜靠在一起时，甘油和磷酸分子的末端就悬在膜的表面，中间则夹着长的侧链。这样一层结构在细胞周围形成了一道有效的化学壁垒，以便细胞维持化学平衡。
用来构建古生菌磷脂的甘油是细菌和真核生物细胞膜上所用的甘油的立体异构体。这两种甘油就像物体和它在镜子中的影象一样。如果你伸出双手放在面前，张开手掌，手指向外，手腕朝里，掌心向上，这时你的两个拇指会指向相反的方向，我们说因为两只手彼此互为镜像。如果翻过一只手，则两个拇指指向一个方向，但是这只手的掌心就不再向上了，这就是甘油的两种立体异构体的形象比喻。它们不可能简单地旋转一下就从一种变成另一种，化学家给其中一种命名为D型，另一种为L型。细菌和真核生物的细胞膜中是D型甘油，而古生菌的是L型。
（2）醚键。当侧链加到甘油分子上时，大多数生物是通过酯键来结合的，即加上两个氧原子而连接到甘油的一端。其中一个氧原子用来与甘油形成化学键，另一个原子则在发生结合后伸出来。相反，古生菌的的侧链是通过醚键来连接的，没有伸出来的氧原子。因此，古生菌的磷脂的化学性质不同于其它生物的膜脂。
（3）类异戊二烯链。细菌和真核生物的磷脂上的侧链通常是链长16到18个碳原子的脂肪酸，古生菌膜上的磷脂则不是脂肪酸，而是由异戊二烯构成的由20个碳原子形成的侧链。异戊二烯是称为烯萜类的化合物中最简单的成员。按照定义，烯萜是异戊二烯彼此联合而构成的分子，每个异戊二烯单位有头尾两端，每个异戊二烯块可以按许多方式连接。它们的头部可以和尾部相连，也可以和另一个头部相连，尾部也可以和尾部相连。由简单的异戊二烯单位可以连接成无数种类的烯萜化合物。真核生物的植物中含有许多烯萜类化合物，例如β胡萝卜素、天然和人造的橡胶植物芳香油和动物中的胆固醇、甾体激素等。
（4）侧链的分支。古生菌细胞膜的侧链由不同的化合物构成，细菌和真核生物的脂肪酸没有这些侧分支。侧分支能够形成碳原子环。这种环可以稳定膜上的结构，有助于古生菌生活在高温中。
