第10周---信息熵与压缩编码基础

第10周—信息熵与压缩编码基础

1. 什么是信息熵？
2. 一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？
3. 一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。

答：

1.表征信息不确性的指标。

信息论中，熵是接受的每条消息中包含的信息的平均值。又被称为信息熵、信源熵、平均自信息量。可以被理解为不确定性的度量，熵越大，信源的分布越随机

与信息的不确定性相关，信息熵越大，信息的不确定性越大

定义公式：

2.采用香农-凡诺编码，压缩比为126:87
采用霍夫曼编码，压缩比为126:87

3.一张图共 1024 × 768 × 3 = 2 , 359 , 296 个字节

BMP 文件由文件头、位图信息头、颜色信息和图形数据四部分组成。

对于 24 位真彩色图像就不使用彩色板，因为位图中的 RGB 值就代表了每个像素的颜
色。

故此图片的文件头+位图信息头+颜色信息为 54 字节，再加上图形数据，就是 2 , 359 ，350字节

计算方法：24 位 RGB 彩图——>一个像素 24 位——>一个像素 3 byte
一张图共 1024 × 768 × 3 = 2 , 359 , 296 1024×768×3=2,359,2961024×768×3=2,359,296 个字节
BMP 文件由文件头、位图信息头、颜色信息和图形数据四部分组成。
对于 24 位真彩色图像就不使用彩色板，因为位图中的 RGB 值就代表了每个像素的颜色。
故此图片的文件头+位图信息头+颜色信息为 54 字节，再加上图形数据，就是 2,359,350 字节