8、机器学习中的损失函数：原理与应用

机器学习中的损失函数：原理与应用

1. 多类分类问题

多类分类的目标是将输入数据示例 $x$ 分配到 $K > 2$ 个类别中的一个，即 $y \in {1, 2, \ldots, K}$。例如，预测手写数字图像中的数字是 0 - 9 中的哪一个，或者预测不完整句子后面可能跟随的单词。

为了解决这个问题，我们遵循以下步骤：
1. 选择分布 ：由于 $y \in {1, 2, \ldots, K}$，我们选择在该域上定义的类别分布。该分布有 $K$ 个参数 $\lambda_1, \lambda_2, \ldots, \lambda_K$，它们决定了每个类别的概率：
[Pr(y = k) = \lambda_k]
这些参数需满足取值范围在 $[0, 1]$ 之间，且所有参数之和为 1，以确保是一个有效的概率分布。
2. 网络输出 ：使用具有 $K$ 个输出的网络 $f[x, \phi]$ 从输入 $x$ 计算这 $K$ 个参数。但网络输出不一定满足上述约束条件。
3. 应用 Softmax 函数 ：将网络的 $K$ 个输出通过 Softmax 函数处理，使其满足约束条件。Softmax 函数的第 $k$ 个输出为：
[softmax_k[z] = \frac{\exp[z_k]}{\sum_{k’ = 1}^{K} \exp[z_{k’}]}]
其中指数函数保证了输出的非负性，分母的求和确保了 $K$ 个数字之和为 1。
4. 计算似然 ：输入 $x$ 具有标签 $y = k