16、机器学习中的分类与信息度量方法

机器学习中的分类与信息度量方法

1. 交叉熵的概念与应用

想象我们的概率分布空间就像一片海洋，不同地方有不同方向的洋流。从点A游到点B所需的努力，与从点B游到点A通常是不同的，这中间有时要逆流而上，有时能顺流而下。在这个比喻中，交叉熵衡量的是“工作量”，而非两点间的实际距离。不过，当A和B越靠近，无论哪个方向，游泳所需的“工作量”都会减少。

在实际应用中，交叉熵常用于训练照片分类器。我们需要比较两个概率分布：一个是手动为照片内容创建的标签，另一个是系统处理照片后计算出的概率集合。我们的目标是训练系统，使其输出与手动标签相匹配。通过比较标签和预测结果，就能得到交叉熵。交叉熵越大，误差就越大。

比如，有一个对狗的照片进行分类的虚构分类器。在训练开始时，系统的预测与手动标签匹配度很差，计算得到的交叉熵约为1.9。经过一段时间训练后，两个分布更加接近，交叉熵降至约1.6。

大多数深度学习库都提供了一步计算交叉熵的内置例程。当只有两个类别时，可使用专门的二元交叉熵函数。

2. 交叉熵应用流程

graph LR
    A[收集照片数据] --> B[手动创建标签]
    B --> C[将照片输入系统]
    C --> D[系统计算概率]
    D --> E[比较标签和预测结果]
    E --> F[计算交叉熵]
    F --> G[根据交叉熵调整系统]
    G --> C

3. 交叉熵应用示例