17、信息论与机器学习分类基础解析

信息论与机器学习分类基础解析

1. 交叉熵在实践中的应用

在训练照片分类器时，我们常常需要比较两种概率分布。第一种是我们手动为照片创建的标签，用于描述照片中的内容；第二种是系统在看到照片时计算出的一组概率。我们的目标是训练系统，使其输出与我们的标签相匹配。为了实现这一目标，我们需要知道系统何时判断错误，并量化错误的程度，这就是通过比较标签和预测结果得到的交叉熵。交叉熵越大，错误就越大。

假设我们有一个虚构的分类器，用于预测一张狗的照片的概率。在大多数实际情况中，除了狗的标签值为 1 外，其他所有标签值都为 0。这里我们为六个标签分别分配了任意概率，以便更好地展示系统如何尝试匹配标签分布（可以想象照片比较模糊，我们自己也不确定照片中的动物是什么）。

下面用表格展示训练前后的交叉熵变化：
| 训练阶段 | 交叉熵 |
| ---- | ---- |
| 训练开始 | 约 1.9 |
| 训练后 | 约 1.6 |

大多数深度学习库都提供了内置的例程，可以一步计算交叉熵。当只有两个类别时，我们可以使用专门针对这种情况的例程，通常称为二元交叉熵函数。

mermaid 流程图展示交叉熵计算流程：

graph LR
    A[输入照片] --> B[系统计算概率]
    B --> C[与手动标签比较]
    C --> D[计算交叉熵]

2. 交叉熵的作用及意义

交叉熵是比较两种分布的绝佳度量。通过最小化交叉熵，我们可以最小化分类器输出与标签之