信息论的基本概念比较：自信息、香浓熵、微分熵、相对熵、交叉熵

本文主要介绍和比较若干信息论中的重要定义：自信息、香浓熵、微分熵、相对熵、交叉熵。

定义概述

信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。

希望能有一种量化信息的方法，并且具备一些性质，如：
• 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件
应该没有信息量。
• 较不可能发生的事件具有更高的信息量。
• 独立事件应具有增量的信息。例如，投掷的硬币两次正面朝上传递的信息量，
应该是投掷一次硬币正面朝上的信息量的两倍。

这就引出了自信息，我们定义一个事件x = x 的自信息（self-information）：

$$I(x) = -logP(x)$$
自信息只处理单个的输出。我们可以用 香农熵（Shannon entropy）来对整个概率分布中的不确定性总量进行量化：

H(x)=E