2.1 墒编码基本原理

墒编码

信息量的概念

信息量：表示该符号所需要的位数

• 考虑用0和1组成的二进制数码
• 为含有N个符号的某条消息进行编码
• 假设符号 a_j在整条消息中重复出现的概率为 P_j ,则该符号的信息量定义为：
  En = -log₂(P_j)

举个例子

假如信源字符串：aabbaccbaa
a，b，c，出现的概率分别为：0.5；0.3；0.2，他们的信息量分别为：

E_a=-log₂(0.5) = 1
E_b=-log₂(0.3) = 1.737
E_c=-log₂(0.2) = 2.322

总信息量=E_a * 5 + E_b * 3 + E_c * 2 = 1 * 5 + 1.737 * 3 + 2.322 * 2 = 14.855位

墒编码概念

• Shannon第一定律（率失真定律）确定了在编码过程中不损失任何信息，即在无损编码条件下数据压缩的理论极限值是信息的墒，并指出了如何建立最优压缩数据编码的方法
• 这种保存信息墒的编码方法统称为墒编码，墒编码为一种无损编码，可以完整的解码压缩之前的数据。

信源的平均信息量即为“墒”

哈夫曼编码

关于哈夫曼编码，该文档介绍的很清楚，并且有完整的例子