误差、梯度与优化：神经网络损失函数的数学本质

原创已于 2025-09-04 09:59:54 修改 · 2.2k 阅读

38 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #人工智能 #深度学习

于 2025-07-02 21:26:31 首次发布

神经网络的数学之美专栏收录该内容

12 篇文章

订阅专栏

在神经网络的世界里，损失函数是衡量模型性能的核心工具。它不仅帮助我们评估模型的预测效果，还指导模型的优化方向。

损失函数的设计和选择对神经网络的训练和性能有着深远的影响。

今天，就让我们一起深入探讨损失函数的数学本质，了解它是如何成为神经网络优化的关键。

一、损失函数的定义与作用

损失函数（Loss Function），也被称为代价函数（Cost Function），它是一个是衡量神经网络模型预测值与真实值之间差异的数学函数。

其主要作用是量化模型的误差，并通过计算梯度为模型优化提供方向。在训练过程中，神经网络的目标是通过调整权重和偏置，最小化损失函数的值。

图1. 损失函数示意图

简单来说，它告诉我们模型的预测有多“好”或者有多“坏”。损失函数的值越小，说明模型的预测越接近真实值，模型的性能就越好。

从数学角度看，损失函数是一个关于模型参数的函数。假设我们有一个神经网络模型 $f(x;θ)f(\mathbf{x}; \theta)$ ，其中 $x\mathbf{x}$ 是输入数据， $θ\theta$ 是模型的参数（权重和偏置）。

损失函数 $L(θ)\mathcal{L}(\theta)$ 可以表示为：

$\mathcal{L}(\theta) = \frac{1}{N}\sum_{i=1}^{N} \ell(f(\mathbf{x}_i; \theta), y_i)$

其中， $N$ 是训练样本的数量， $xi\mathbf{x}_i$ 是第 $i$ 个输入样本， $y_i$ 是对应的标签， $ℓ\ell$ 是单个样本的损失函数。

二、常见损失函数的数学形式

接下来，将详细介绍两种常见的损失函数：均方误差损失函数（Mean Squared Error, MSE）和交叉熵损失函数（Cross-Entropy Loss），并探讨它们的数学形式和原理。

2.1 均方误差损失函数

均方误差损失函数（Mean Squared Error, MSE）是最常用的损失函数之一，它在回归任务中有着广泛的应用。

🕵️ 其数学形式：

$MSE=1n∑i=1n(yi−y^i)2 \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$

其中， $n$ 是样本数量， $y_i$ 是第 $i$ 个样本的真实值， $y^i\hat{y}_i$ 是第 $i$ 个样本的预测值。

MSE 的计算方法是先计算每个样本的真实值与预测值之间的差值的平方，然后对所有样本的平方差求平均值。

MSE 的优点是计算简单，对误差的惩罚力度较大，能够有效地促使模型减少大误差。

然而，它也有一个缺点，那就是对异常值比较敏感。因为平方操作会放大误差，所以当数据中存在异常值时，MSE 可能会受到较大的影响，导致模型的优化方向偏离正常轨道。

💡 其推导过程：

均方误差损失函数的推导相对简单。假设我们有一个线性回归模型，其预测值为 $y^=wTx+b\hat{y} = w^T x + b$ ，其中 $w$ 是权重， $b$ 是偏置， $x$ 是输入特征。

我们希望找到最优的 $w$ 和 $b$ ，使得预测值与真实值之间的误差最小。为了衡量误差，我们定义了均方误差损失函数：

$L(y,y^)=1n∑i=1n(yi−y^i)2 L(y, \hat{y}) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$

为了找到最优的 $w$ 和 $b$ ，我们需要对损失函数进行求导，并令导数为零。通过求导，我们可以得到：

$∂L∂w=2n∑i=1n(yi−y^i)(−xi) \frac{\partial L}{\partial w} = \frac{2}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)(-x_i)$

$∂L∂b=2n∑i=1n(yi−y^i)(−1) \frac{\partial L}{\partial b} = \frac{2}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)(-1)$

将导数设为零，即可得到最优的 $w$ 和 $b$ 的值。通过这种方法，我们就可以利用均方误差损失函数来优化线性回归模型。

2.2 交叉熵损失函数

交叉熵损失函数（Cross-Entropy Loss）是分类问题中常用的损失函数。它通过计算预测概率分布与真实概率分布之间的交叉熵来衡量误差。

🕵️ 其数学形式：

$Cross-Entropy=−1n∑i=1n[yilog⁡(y^i)+(1−yi)log⁡(1−y^i)] \text{Cross-Entropy} = -\frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]$

其中， $n$ 是样本数量， $y_i$ 是第 $i$ 个样本的真实标签（0 或 1）， $y^i\hat{y}_i$ 是第 $i$ 个样本的预测概率。

交叉熵损失函数的优点是对概率分布的差异非常敏感，能够有效地衡量预测概率分布与真实概率分布之间的差异。

它适用于多分类问题，例如图像分类、文本分类等。

🤖 其数学原理：

交叉熵损失函数的数学原理基于信息论中的交叉熵概念。交叉熵是两个概率分布之间的距离度量，它表示从一个概率分布到另一个概率分布的平均信息量。

对于二分类问题，真实概率分布是 $P(y_i = 1) = y_i$ 和 $P(y_i = 0) = 1 - y_i$ ，预测概率分布是 $P(yi=1)=y^iP(y_i = 1) = \hat{y}_i$ 和 $P(yi=0)=1−y^iP(y_i = 0) = 1 - \hat{y}_i$ 。

交叉熵损失函数计算的是这两个概率分布之间的交叉熵：

$Cross-Entropy=−∑i=1n[yilog⁡(y^i)+(1−yi)log⁡(1−y^i)] \text{Cross-Entropy} = -\sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]$

我们取平均值，得到交叉熵损失函数：

$Cross-Entropy=−1n∑i=1n[yilog⁡(y^i)+(1−yi)log⁡(1−y^i)] \text{Cross-Entropy} = -\frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]$