【深度学习笔记】常见损失函数

关注

原创最新推荐文章于 2026-08-30 16:00:42 发布 954 阅读 AI 写同款· GEO 优化 ›

深度学习之常见损失函数(详细讲解定义、数学公式、实现代码), my write 损失函数在机器学习和深度学习的领域中占据着核心地位，它是连接模型预测与实际结果之间的桥梁，为模型的优化提供了明确的方向。损失函数是一个量化模型预测错误的数学工具。在模型训练的过程中，损失函数用于计算模型预测的输出与实际标签之间的差异。这个差异值，即损失值，能够直观地反映出模型在当前参数下的性能。通过最小化这个损失值，我们可以驱使模型不断学习和改进，直至达到满意的预测精度。损失函数的选择取决于具体的任务和数据类型。对于回归问题，常用的损失函数有均方误差（MSE）和平均绝对误差（MAE）。阅读详情

损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异

0-1损失函数：

$L(y,f(x,θ))=˙{0(ify=f(x,θ))1(else)L(y,f(x,\theta))\dot= \begin{cases} 0(if y=f(x,\theta))\\ 1 (else)\end{cases}$
0-1损失函数可以客观的评价模型的好坏，但缺点是数学性质不好，常用连续可微的损失函数替代

平方损失函数:

$L(y,f(x,θ))=˙12(y−f(x,θ))2L(y,f(x,\theta))\dot=\frac{1}{2}(y-f(x,\theta))^2$
平方损失函数一般不适用于分类问题

交叉熵损失函数:

假设样本的标签 $y∈{1,...,C}$ 为离散的类别，模型 $f(x;θ)∈[0,1]Cf(x;\theta)∈[0,1]^C$ 的输出为类别标签的条件概率分布
即 $p(y=c∣x;θ)=fc(x;θ)p(y=c|x;\theta)=f_c(x;\theta)$
并满足 $fc(x;θ)∈[0,1],∑c=1Cfc(x;θ)=1f_c(x;\theta)∈[0,1],\sum_{c=1}^Cf_c(x;\theta)=1$
用一个C维的one-hot向量y来表示样本标签，假设样本的标签为k，那么标签向量y只有第k维的值为1，其余元素全为0.
标签向量y可以看做样本标签的真实条件概率分布 $p_r(y|x)$ ，即第c维是类别为c的真实条件概率。
对于两个概率分布，一般用交叉熵来衡量差异。交叉熵 $L(y,f(x;θ))=−yTlogf(x;θ)=−∑c=1Clogfc(x;θ)L(y,f(x;\theta))=-y^Tlogf(x;\theta)=-\sum_{c=1}^{C}logf_c(x;\theta)$
交叉熵损失函数一般用于分类问题