比特

若离散信源是一个由“0”和“1”构成的集合，信源输出的二进制序列中，“0”和“1”等概率出现，各符号间统计独立。则我们可以定义此信源输出的每个符号所包含的信息量为 1 个比特。称此比特为信息量单位。