在基于块的混合视频编码器中，每个视频帧被分成固定大小的块，且每个块或多或少的独立的进行处理，因此称为“基于块的”。“混合”这个词意味着每个块是联合运用运动补偿时间预测和变换编码进行编码的。
假设时间预测是成功的，预测误差块要求用比原始图像块少的比特进行编码，这种编码方式称为P模式。当情况不是如此时，原始块将直接用变换编码进行编码，这称为帧内模式。可以把用单个参考帧预测换成双向预测，它要找两个最佳的匹配块，一个在前面的帧中，另一个在后面的帧中，且用着两个匹配块的加权平均作为当前块的预测，在这种情况下，两个MV与每个块都有联系，这称为B模式。P和B模式一般称为帧间模式。模式信息和MV以及其他的关于图像格式的辅助信息、块位置等也用VLC编码。