理解信息熵

最新推荐文章于 2022-03-09 12:01:27 发布

原创

最新推荐文章于 2022-03-09 12:01:27 发布 · 705 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数学概念 #信息熵

本文深入探讨信息熵的概念，从直观理解出发，阐述信息熵作为衡量信息不确定性的数学工具。介绍了熵的性质，包括单调性、非负性和累加性，并通过数学公式解释了熵的计算方式。此外，文章还区分了信息、数据、知识、熵和状态等概念，以及信息量的量化方法，特别强调了信息的相对性和消除不确定性的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.直观理解

题外话

香农（信息论创始人）认为，比特是测量信息的单位，本质上，信息和长度、重量这些物理单位一样，是一种可以测量和规范的东西。对于通信系统而言，其传递的信息具有随机性，所以定量描述信息应基于随机事件。任何信息都存在冗余，冗余的大小与信息中每个符号（基本元素）的出现概率或者说不确定性有关。

通常，一个信息源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。极限条件下，一个信源只发送一个符号，即发送内容是确定的，概率100%，此时接收方无法从信号中获取任何信息，信息量为零。

香农提出信息熵来定量衡量信息的大小，假设随机事件发生的概率为 $p_i$ ，信息熵函数 $H (X)$ 必须满足以下三个性质：

单调性：概率越大的事情（即随机变量 $X$ 某个事件 $x_i$ 的 $p(x_i)$ 较大），信息熵越小，即若P(X=A)>P(X=B)，则H(X=A)<H(X=B)；

非负性：一个事件的信息熵不能为负；

累加性：多个随机事件同时发生存在的总不确定性的度量等于格式件不确定性度量的和，即H(X=A,X=B)=H(X=A)+H(X=B)。

香农从数学上证明了，严格满足上述三个条件的随机变量不确定性度量函数具有唯一形式：
$H(X)=-C\sum\limits_{x\in X}p(x)\log p(x)$