7、损失函数：从原理到应用

损失函数：从原理到应用

在机器学习中，模型的训练目标是找到一组参数，使得模型能够在给定的任务中实现从输入到输出的最佳映射。而损失函数（Loss function）或成本函数（Cost function）在这个过程中起着关键作用，它用于衡量模型预测值与真实值之间的不匹配程度。

1. 最大似然估计

最大似然估计是构建损失函数的一种重要方法。传统上，我们认为模型直接计算预测值 $y$，但现在我们将视角转变，把模型看作是计算给定输入 $x$ 下，可能输出 $y$ 的条件概率分布 $Pr(y|x)$。损失函数的目标是让每个训练输出 $y_i$ 在根据相应输入 $x_i$ 计算出的分布 $Pr(y_i|x_i)$ 下具有高概率。

1.1 计算输出的分布

要让模型 $f[x, \phi]$ 计算概率分布，我们首先要选择一个定义在输出域 $y$ 上的参数化分布 $Pr(y|\theta)$，然后使用网络计算该分布的一个或多个参数 $\theta$。

例如，当预测域是实数集 $y \in R$ 时，我们可以选择单变量正态分布，其由均值 $\mu$ 和方差 $\sigma^2$ 定义，即 $\theta = {\mu, \sigma^2}$。机器学习模型可以预测均值 $\mu$，而方差 $\sigma^2$ 可以视为未知常数。

1.2 最大似然准则

对于每个训练输入 $x_i$，模型计算不同的分布参数 $\theta_i = f[x_i, \phi]$。每个观察到的训练输出 $y_i$ 应该在其相应的分布 $Pr(y_i|\theta_i)$ 下具有高概率。因此，我们选择模型参数 $\phi$，使得所有 $I$