从信息熵到互信息：深入解析信息论核心概念及其在机器学习中的应用

关注

原创最新推荐文章于 2026-07-07 14:55:07 发布 181 阅读 AI 写同款· GEO 优化 ›

信息熵 (Entropy) 对于离散概率分布，若有两个概率分布PPP和QQQ，其中 § 通常代表数据的真实分布，而QQQ代表模型预测的分布，那么交叉熵HPQH(P, Q)HPQHPQ−∑xPxlog⁡QxHPQ−∑xPxlogQx))这里的求和是对所有可能事件xxx进行的，PxP(x)Px是样本点xxx在真实分布中的概率，QxQ(x)Qx是样本点xxx在预测分布中的概率。对于离散随机变量，如果我们有两个概率分布PPP和Q。阅读详情

1. 信息论入门：从“不确定性”说起

很多朋友一听到“信息熵”、“KL散度”这些词，就觉得头大，感觉是数学家在故弄玄虚。其实，信息论的核心思想非常朴素，它研究的核心就是**“不确定性”**。我们每天的生活，本质上就是在和不确定性打交道。

举个例子，你早上出门前，想知道今天会不会下雨。如果天气预报说“100%晴天”，那你心里就非常确定，不需要带伞。但如果预报说“50%概率下雨”，你的不确定性就大大增加了，带不带伞就成了一个需要纠结的问题。信息论，就是给这种“纠结”的程度，一个精确的、可以计算的度量。这个度量，就是信息熵。

再比如，你训练一个AI模型去识别猫和狗。模型看到一张图片，如果它非常确定这是只猫（比如输出概率是猫99%，狗1%），那它的“纠结”程度就很低。如果它觉得猫狗各占50%，那它的“纠结”程度就很高。我们训练模型的目标，就是让它对正确答案的“纠结”程度降到最低。而衡量这个“纠结”程度的工具，就是交叉熵和KL散度。

所以，别怕。接下来，我会用最直白的语言，带你一步步拆解信息熵、交叉熵、KL散度、互信息这些听起来高大上的概念。你会发现，它们不仅是数学公式，更是我们理解数据、优化模型的强大直觉工具。

2. 信息量与信息熵：量化“意外”程度

2.1 信息量：一件小事能带来多大“惊喜”？

我们先从最基础的信息量说起。信息量衡量的是一个具体事件发生时所携带的信息多少。它的核心直觉是：越不可能发生的事，一旦发生，带给我们的信息量就越大。

这很好理解。如果太阳每天照常升起，你不会觉得有什么信息量。但如果某天太阳从西边出来了，这个消息的信息量就爆炸了。用数学公式表示，一个事件 $x$ 发生的信息量 $I(x)$ 是： $$I(x) = -\log P(x)$$ 这里的 $P(x)$ 是事件 $x$ 发生的概率。对数底通常取2，这样信息量的单位就是“比特”(bit)。

举个栗子：

你抛一枚均匀硬币，正面朝上的概率是 $P(正面) = 0.5$。那么正面朝上这个事件的信息量就是 $I(正面) = -\log_2(0.5) = 1$ 比特。
你买彩票中头奖，假设概率是 $P(中奖) = 0.0000001$，那么中奖的信息量就是 $I(中奖) = -\log_2(0.0000001) \approx 23.25$ 比特。这个数字远大于1，说明中奖是件极其“意外”的事，信息量巨大。

所以，信息量就是“意外”程度的量化。概率越小，意外越大，信息量就越多。

2.2 信息熵：系统的“平均纠结度”

信息量是针对单个事件的。但一个系统（比如天气、或者一个分类模型）通常有很多种可能的结果。我们更关心这个系统整体的“不确定程度”或“混乱程度”。这就是信息熵。

信息熵 $H(X)$ 就是信息量的期望值，也就是对所有可能事件，其信息量按其发生概率加权平均的结果： $$H(X) = E[I(x)] = -\sum_{x \in X} P(x) \log_2 P(x)$$

生活化理解：你可以把熵想象成一个系统的“平均纠结度”。

如果一个系统（比如天气预报）总是报晴天（概率100%），那它的熵就是0，因为毫无纠结，非常确定。
如果一个系统（比如一枚均匀硬币）正反面概率各50%，那它的熵就是1比特，这是二元系统最大的纠结度。
如果一个系统有8种等可能的结果（比如一个均匀的八面骰子），那它的熵就是 $-\sum_{1}^{8} \frac{1}{8} \log_2 \frac{1}{8} = 3$ 比特。这意味着，平均需要3个二进制问题（是1-4吗？是奇数吗？等等）才能确定具体结果。

在机器学习中的应用：在决策树算法中，选择哪个特征进行分裂，核心标准就是看分裂后，子节点数据纯度的提升，也就是熵的减少。我们总是选择那个能让数据“不确定性”降低最多的特征来分裂。这个“熵的减少量”，我们后面会知道，它还有一个更重要的名字——互信息。

3. KL散度与交叉熵：衡量“差距”的两把尺子

理解了信息熵是系统的内在不确定性后，我们自然会问：如何比较两个不同的系统（或者说，两个概率分布）之间的差异？这就是KL散度和交叉熵出场的时候了。

3.1 KL散度：用错误地图导航，会多走多少路？

KL散度，也叫相对熵，它衡量的是当我们用一个分布 $Q$ 去近似另一个真实分布 $P$ 时，所损失的平均信息量。

公式长这样： $$D_{KL}(P || Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$$

这个公式怎么理解呢？我打个比方：

假设真实的道路情况分布是 $P$（比如，A路畅通概率80%，B路拥堵概率20%）。
你手头有一张过时的、不准确的地图，它描述的道路情况分布是 $Q$（比如，它认为A路和B路畅通概率各50%）。
如果你按照这张错误地图 $Q$ 来规划出行（比如，你以为B路也很畅通，于是有50%的概率选择B路），那么相比起你完全了解真实路况 $P$ 来规划，你平均每次出行会多浪费多少时间（信息量）？这个“多浪费的时间”，就是KL散度 $D_{KL}(P||Q)$。

KL散度的两个关键性质：

非负性：$D_{KL}(P || Q) \ge 0$，当且仅当 $P=Q$ 时取0。用错地图，不可能比用对地图更高效。
非对称性：$D_{KL}(P || Q) \neq D_{KL}(Q || P)$。这是KL散度一个非常重要的特点，它不是距离。继续用地图的比喻：用一张乡村地图去近似城市路况（$P$是城市，$Q$是乡村），和用城市地图去近似乡村路况，两者的“误差”感受是完全不同的。在机器学习中，这种非对称性会导致不同的优化效果。

3.2 交叉熵：用错误策略做事，平均要费多大劲？

交叉熵的公式和KL散度紧密相关： $$H(P, Q) = -\sum_x P(x) \log Q(x)$$

它描述的是：在真实分布为 $P$ 的情况下，使用基于分布 $Q$ 的策略（比如编码、预测）时，所需要的平均信息量（或付出的平均成本）。

把KL散度的公式拆开： $$D_{KL}(P || Q) = \sum_x P(x) \log P(x) - \sum_x P(x) \log Q(x) = -H(P) + H(P, Q)$$

所以： $$H(P, Q) = H(P) + D_{KL}(P || Q)$$

这意味着：交叉熵 = 真实分布自身的熵 + 近似分布带来的额外损失（KL散度）。

由于在机器学习任务中，训练数据的真实分布 $P$ 是固定的，因此它的熵 $H(P)$ 是一个常数。那么，最小化交叉熵 $H(P, Q)$，就等价于最小化KL散度 $D_{KL}(P || Q)$。这就是为什么在分类任务中，我们总是把交叉熵作为损失函数。

实战中的交叉熵损失：假设我们做一个三分类（猫、狗、兔）任务。对于一张猫的图片，真实标签 $P$ 是 one-hot 向量 [1, 0, 0]。模型预测出的概率分布 $Q$ 是 [0.7, 0.2, 0.1]。那么，对于这一个样本的交叉熵损失就是： $$H(P, Q) = - (1 \times \log 0.7 + 0 \times \log 0.2 + 0 \times \log 0.1) = -\log 0.7$$

模型训练的目标，就是调整参数，让这个损失值尽可能小，也就是让预测概率 $Q$ 尽可能逼近真实分布 $P$。

4. 联合熵、条件熵与互信息：变量间的“纠缠”关系

前面我们讨论的都是单个随机变量的不确定性。现实世界中的变量往往是相互关联的，比如“下雨”和“带伞”。信息论提供了一套完美的工具来描述这种关联。

4.1 联合熵与条件熵：知道一件事，对另一件事有多大影响？

联合熵 $H(X, Y)$：衡量两个随机变量 $X$ 和 $Y$ 联合在一起时的总的不确定性。公式是： $$H(X, Y) = -\sum_{x, y} P(x, y) \log P(x, y)$$ 它就是把 $(X, Y)$ 这个组合看成一个新的随机系统，然后计算其熵。
条件熵 $H(Y|X)$：表示在已知随机变量 $X$ 的条件下，随机变量 $Y$ 的剩余不确定性。 $$H(Y|X) = \sum_x P(x) H(Y|X=x) = -\sum_{x, y} P(x, y) \log P(y|x)$$ 直观理解：$H(Y)$ 是不知道 $X$ 时 $Y$ 的“懵圈”程度。知道了 $X$ 以后，$Y$ 的“懵圈”程度通常会下降。这个下降后的“懵圈”程度，就是条件熵。

它们的关系：信息永远不会无中生有。知道 $X$ 所能提供的关于 $Y$ 的信息，最多就是 $Y$ 本身的全部信息。因此，联合熵、单独熵和条件熵满足链式法则： $$H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)$$ 这就像说，$X$ 和 $Y$ 的总信息量，等于 $X$ 自己的信息量，加上知道 $X$ 后 $Y$ 的剩余信息量。

4.2 互信息：两个变量“共享”了多少秘密？

这是信息论中最美妙的概念之一——互信息 $I(X; Y)$。它直接度量了随机变量 $X$ 和 $Y$ 之间的相互依赖程度。换句话说，知道了 $X$，能减少多少关于 $Y$ 的不确定性？

公式可以从多个角度理解： $$I(X; Y) = H(Y) - H(Y|X) = H(X) - H(X|Y) = H(X) + H(Y) - H(X, Y)$$

解读：

$H(Y)$ 是 $Y$ 原本的不确定性。
$H(Y|X)$ 是知道 $X$ 后，$Y$ 还剩下的不确定性。
两者的差值 $I(X; Y)$，就是 $X$ 所揭示的关于 $Y$ 的信息量，也就是两者“共享”的信息。

一个经典例子：设 $X$ 表示“天空是否有乌云”，$Y$ 表示“是否会下雨”。

如果 $X$ 和 $Y$ 完全独立（有乌云不一定下雨，下雨也不一定有乌云），那么知道 $X$ 对预测 $Y$ 毫无帮助，$H(Y|X) = H(Y)$，互信息 $I(X; Y)=0$。
如果 $X$ 和 $Y$ 强相关（有乌云必下雨，无乌云必不下雨），那么知道 $X$ 就完全确定了 $Y$，$H(Y|X)=0$，互信息 $I(X; Y) = H(Y)$，达到了最大值。

在机器学习中的核心应用——特征选择：互信息是过滤式特征选择方法的黄金标准。假设我们要预测目标 $Y$（比如用户是否点击广告），有一堆特征 $X_1, X_2, ..., X_n$（用户年龄、性别、历史行为等）。我们应该选哪些特征？一个非常有效的策略就是：计算每个特征 $X_i$ 与目标 $Y$ 的互信息 $I(X_i; Y)$，然后选择互信息最高的那几个特征。因为互信息高的特征，意味着它包含了更多关于预测目标的信息，能更大程度地减少我们对 $Y$ 的不确定性。

我在实际项目中构建风控模型时，就经常先用互信息对成百上千个特征进行初筛，它能快速剔除那些与目标变量几乎无关的“噪音”特征，大大提升了后续建模的效率和效果。

5. 点互信息：从宏观到微观的关联度量

互信息 $I(X; Y)$ 衡量的是两个随机变量整体的相关性。但有时候，我们更关心在具体某个事件发生的情况下，另一个事件发生的相关性。这就是点互信息。

点互信息 $PMI(x; y)$ 的定义是： $$PMI(x; y) = \log \frac{P(x, y)}{P(x)P(y)}$$

解读：

分母 $P(x)P(y)$ 是 $x$ 和 $y$ 在相互独立假设下的联合概率。
分子 $P(x, y)$ 是实际观察到的联合概率。
比值 $\frac{P(x, y)}{P(x)P(y)}$ 衡量了实际观察与独立假设的偏离程度。取对数是为了让数值更易于处理。
如果 $PMI(x; y) > 0$，说明 $x$ 和 $y$ 同时出现的概率比随机碰上的概率更高，它们正相关。
如果 $PMI(x; y) = 0$，说明两者独立。
如果 $PMI(x; y) < 0$，说明两者同时出现比随机碰上更罕见，可能负相关。

最经典的应用：自然语言处理中的词共现分析 在NLP中，我们想衡量两个词（比如“苹果”和“公司”）的语义相关性。

$P(苹果)$ 是“苹果”这个词在语料库中出现的概率。
$P(公司)$ 是“公司”出现的概率。
$P(苹果, 公司)$ 是“苹果”和“公司”在同一个上下文窗口（比如同一句话）中共同出现的概率。

如果“苹果”和“公司”经常一起出现（比如“苹果公司发布了新手机”），那么 $P(苹果, 公司)$ 会远大于 $P(苹果)P(公司)$，导致 $PMI(苹果; 公司)$ 是一个很大的正数，这表明它们语义上强相关。

而像“苹果”和“水泥”这种不搭界的词，它们的共现概率接近独立概率，PMI值就接近0甚至为负。

在实际应用中，由于某些词对可能从未共同出现，导致 $P(x, y)=0$，使得 $PMI$ 计算为负无穷 $(-\infty)$。因此大家常用的是正点互信息： $$PPMI(x; y) = \max(0, PMI(x; y))$$ 这样既保留了正相关的信息，又避免了负无穷的问题。

从PMI到互信息：你会发现，互信息 $I(X; Y)$ 其实就是所有具体事件对 $(x, y)$ 的点互信息 $PMI(x; y)$ 的加权平均（期望）： $$I(X; Y) = \sum_{x, y} P(x, y) \cdot PMI(x; y)$$ 所以，互信息是从宏观上描述两个变量的整体相关性，而点互信息则是从微观上描述具体事件之间的关联强度。

6. 实战串联：信息论概念在机器学习管道中的应用

纸上谈兵终觉浅。让我们把这些概念串起来，看看在一个典型的机器学习项目中，它们是如何各司其职的。

场景：我们要构建一个预测用户购买行为的模型。

数据理解与特征工程（使用互信息）：我们有一堆用户数据：年龄、性别、浏览历史、收藏夹物品、上次登录时间等等。首先，我们计算每个特征与“是否购买”这个目标变量的互信息。假设“收藏夹物品价格”和“是否购买”的互信息最高，“上次登录时间”的互信息次之，“用户性别”的互信息几乎为0。那么，我们就会优先选择前两个特征进入模型，而舍弃“性别”这个特征。这步操作，本质是在最大化特征与目标之间的信息共享。
模型选择与损失函数（使用交叉熵）：我们选择了一个神经网络分类模型。对于每一个用户样本，模型会输出一个预测概率分布 $Q$（比如 [购买概率=0.8, 不购买概率=0.2]）。而真实标签是 $P$（比如 [1, 0]）。我们使用交叉熵损失 $H(P, Q)$ 来衡量模型预测的“错误成本”。通过梯度下降，我们不断调整模型参数，最小化所有样本的平均交叉熵损失。这个过程，就是在最小化模型预测分布 $Q$ 与真实数据分布 $P$ 之间的 KL散度（因为 $H(P)$ 是常数）。
模型评估与理解（使用熵与条件熵）：模型训练好后，我们想知道它在哪些情况下表现好，哪些情况下表现差。我们可以计算模型在不同用户群体上的预测熵。
- 对于高价值用户群，模型可能非常确定（预测购买概率要么很高要么很低），整体熵很低。
- 对于新用户或行为模糊的用户群，模型的预测概率可能都在0.5附近，整体熵很高。高熵的群体，正是模型“吃不准”的地方，也是我们业务需要重点干预、或者收集更多数据的区域。通过分析条件熵 $H(预测|用户群)$，我们可以量化模型在不同子群体上的不确定性差异。
模型可解释性与归因（使用点互信息）：对于一个具体的预测，比如模型判断用户A极有可能购买某款手机。我们可以分析是哪些特征组合导致了这一判断。计算用户A的具体特征值（如“浏览了10次该手机页面”、“收藏了该手机”）与“高购买概率”这个预测结果的点互信息。PMI值高的特征，就是对本次预测贡献最大的“证据”。这为模型的决策提供了微观层面的解释。