10、损失函数与优化方法详解

损失函数与优化方法详解

1. 参数化学习的组成部分

参数化学习主要包含四个关键组成部分：
1. 数据 ：在图像分类中，输入数据通常是图像数据集。
2. 评分函数 ：它能根据输入数据和参数，对每个输入数据点给出预测结果。
3. 损失函数 ：用于衡量一组预测在整个数据集上的好坏程度。
4. 权重和偏置 ：权重矩阵 (W) 和偏置向量 (b) 是实现从输入数据中“学习”的关键参数，可通过优化方法进行调整，以提高分类准确率。

2. 常见损失函数

2.1 合页损失（Hinge Loss）

通过一个例子来展示合页损失的计算。假设有狗、猫和熊猫三类图像，评分函数对每个图像给出各类别的得分。若损失函数值大于零，说明预测错误。例如，对于熊猫图像，计算合页损失的代码如下：

>>> max(0, -2.37 - (-2.27) + 1) + max(0, 1.03 - (-2.27) + 1)
5.199999999999999

此例中损失非零，表明模型将该图像错误分类为“猫”，实际应为“熊猫”。最后，通过对三个示例的损失求平均，得到总体合页损失：

>>> (0.0 + 5.96 + 5.2) / 3.0
3.72