信息熵与压缩编码基础

什么是信息熵

定义：按照香农的理论，在有限的互斥和联合穷举事件合集中，熵为事件的信息量的平均值，也称事件的平均信息量。
在数学上表示为发

例题

一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？


采用香农-凡诺编码
按照概率大小排序，再分割E,C分为19和23，再从C，A，B，D中分割C,A分为了9，14，再从A,B,D中分割为A,B分为6和8,再将B和D分割。

编码前：5个符号需要三位，42个字符共126。
编码后：共87位
压缩比：126:87=1.45:1

采用霍夫曼编码
根据符号的次数，E>C>A>B,D,B=D。
先将B,D组成节点共8，再与A组成节点共14，再与C组成节点共23，再与E组成节点。

编码前：5个符号需要三位，42个字符共126。
编码后：共87位
压缩比：126:87=1.45:1

一幅1024768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？

RGB占3字节的话，文件共1024768*3=2_359_296字节。
BMP文件由文件头、位图信息头、颜色信息和图形数据四部分组成。
对于24-位真彩色图像就不使用彩色板，因为位图中的RGB值就代表了每个象素的颜色。
故文件头+位图信息头+颜色信息为55字节
保存为非压缩格式的BMP文件，文件共有2_359_351字节。