信源熵：是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。
信源熵的定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）信源熵的单位是 Bit/sign