信息熵与压缩编码基础

一、什么是信息熵

信息熵是一个非常模糊的概念，信息熵是用来表示信息的量化度量。

二、实例问题

①一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

②一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证

答：一幅1024768的24位RGB彩色图像一共有10247683=786432个像素
每个像素有三个字节所以一共有7864323=2359296个字节
实例演示：