信息熵与压缩编码基础

一、学习任务

1.什么是信息熵？
2.一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？
3.一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。

二、学习内容

1.信息熵

1.1 信息熵定义

信息熵用来作为一个系统的信息含量的量化指标，可以进一步用来作为系统方程优化的目标或者参数选择的判据。

2.香农-凡诺编码，霍夫曼编码

1.信息熵

2.采用香农-凡诺编码的压缩率

按照概率大小排序，分割E,C分为19和23，从C，A，B，D中分割C,A分为了9，14，从A,B,D中分割为A,B分为6和8,将B和D分割。

编码之前：5个符号需要3位二进制编码，42个字符共126。
编码之后：87位
压缩比：126:87=1.45:1

3.采用霍夫曼编码的压缩率是多少？

依据符号次数，E>C>A>B,D,B=D。将B,D组成节点共8，与A组成节点共14，与C组成节点共23，与E组成节点。

编码之前：5个符号需要3位二进制编码，42个字符共126。
编码之后：87位
压缩比：126:87=1.45:1

3.RGB彩色图像

1.一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？
每一个像素点3个字节，即有10247683= 2,359,296个字节。
2.如果将其保存为非压缩格式的BMP文件，文件有多少字节？
BMP文件由文件头、位图信息头、颜色信息和图形数据四部分组成。24位真彩色图像就不使用彩色板，所以图片的文件头+位图信息头+颜色信息为55字节