机器学习02——回归问题中的损失函数 （L2损失L1损失Huber损失函数）

最新推荐文章于 2025-07-14 19:51:43 发布
最新推荐文章于 2025-07-14 19:51:43 发布
阅读量4.5k 收藏 28
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 机器学习&计算机视觉 文章标签： 机器学习 L2 L1损失函数 范数 Huber损失函数 正则化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014005758/article/details/88958683
本文介绍了回归问题中的三种损失函数：L2损失、L1损失和Huber损失。L2损失对噪声敏感，而L1损失对噪声不敏感但不可导。Huber损失综合两者优点，适用于噪声较大的情况。文章通过计算程序展示了不同损失函数的效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

回归问题预测中的残差

• 预测残差：真实值和预测值之间的差异： ? = ? − ?1
• 忽略预测残差的正负号：残差的平方：?**2
• 最佳模型：残差平方和(Residual Sum of Squares, RSS )最小
在这里插入图片描述

L2损失函数：

• 在机器学习中，我们用损失函数（loss function）度量样本真实值与模型预测值之间差异
• 当损失函数取残差平方时，我们称之为L2损失，记为：
在这里插入图片描述
•目标函数：最小训练集上的损失（经验风险最小）
在这里插入图片描述
• L2损失处处可导，优化计算方便（参见优化计算小节），但对噪声敏感
在这里插入图片描述

L1损失函数：

• 当损失函数取残差绝对值时，我们称之为L1损失，记为：
在这里插入图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
AI笔记: 损失函数之L1损失、L2损失、Huber损失
Wang的专栏
04-10 2546
损失函数 之前我们知道预测残差和残差平方和，在机器学习中，我们用专门的术语叫损失函数(loss function)度量样本真实值与模型预测值之间差异 如果我们采用残差平方来作为你的损失函数的话，那我们把它称之为L2损失, 记为：L(y,y^)=(y−y^)2=r2L(y, \hat{y}) = (y - \hat{y})^2 = r^2L(y,y^​)=(y−y^​)2=r2 L表示loss，损...
机器学习笔记——损失函数、代价函数和KL散度
haopinglianlian的博客
11-17 2854
本笔记介绍机器学习中常见的损失函数和代价函数，各函数的使用场景。
L2损失函数
m0_51200050的博客
07-06 1457
L2损失函数是一种常用的损失函数，尤其适用于回归任务。它通过平方误差来衡量预测值与真实值之间的差异，并且对较大的误差进行更强的惩罚，确保模型能够更准确地拟合数据。
【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）
Next_SummerAgain的博客
01-04 1万+
是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。
深度学习基础：损失函数（Loss Function）全面解析
最新发布
wyy202206174248的博客
07-14 1297
损失函数（Loss Function），也称为代价函数（Cost Function），是机器学习和深度学习中用于量化模型预测误差的核心工具。它像一位严格的老师，不断告诉模型"你的预测离正确答案还有多远"，并通过优化算法指导模型如何改进。通俗理解：想象你在玩飞镖游戏，损失函数就是用来计算你的飞镖（预测值）与靶心（真实值）之间的距离。距离越大，说明你的技术越需要改进；距离越小，说明你越接近完美。常见损失函数及用途任务类型损失函数公式（简化版）特点回归任务均方误差（MSE）
深入了解 Huber 损失函数
qlkaicx的博客
07-08 3690
Huber 损失函数结合了 MSE 和 MAE（平均绝对误差）的优点，它在误差较小时表现为 MSE，在误差较大时表现为 MAE。Lδa12a2for∣a∣≤δδ∣a∣−12δfor∣a∣δLδ​a21​a2δ∣a∣−21​δ​for∣a∣≤δfor∣a∣δ​其中，ay−yay−y​表示真实值yyy与预测值y\hat{y}y​之间的差异，δ\deltaδ。
回归损失函数：Huber Loss
热门推荐
小花生的博客
05-07 6万+
Huber损失函数，平滑平均绝对误差 相比平方误差损失，Huber损失对于数据中异常值的敏感性要差一些。在值为0时，它也是可微分的。它基本上是绝对值，在误差很小时会变为平方值。误差使其平方值的大小如何取决于一个超参数δ，该参数可以调整。当δ~ 0时，Huber损失会趋向于MAE；当δ~ ∞（很大的数字），Huber损失会趋向于MSE。 δ的选择非常关键，因为它决定了你如何看待异常值。残差大于δ...
Huber Robust loss
weixin_45780075的博客
04-01 821
兼具 MSE 和 MAE 的优点：Huber Loss 同时考虑了均方误差和绝对误差的优点，因此在一定程度上能够平衡二者的影响，既能够保留 MSE 对于近似正态分布的数据的有效性，又能够在一定程度上抵抗异常值的干扰，具有更广泛的适用性。其中，y 是真实值，yhat 是预测值，δ 是 Huber Loss 的阈值。对异常值具有鲁棒性：由于 Huber Loss 在绝对误差较小时采用的是均方误差，而在绝对误差较大时采用的是绝对误差，因此对于异常值的影响相对较小，具有一定的鲁棒性。Huber Loss 的主要。
入门机器学习必备！五种回归损失函数.pdf
06-25
本篇文章将详细介绍五种常见的回归损失函数，包括L1损失、L2损失、Huber损失、Quantile损失以及Log-Cosh损失，并探讨它们的特点及应用场景。 #### 均方误差（Mean Squared Error, MSE） 均方误差是最常用的回归...
57_机器学习中常用的损失函数一览1
08-03
损失函数有多种类型，对于回归问题，最常见的两种是均方差损失（Mean Squared Error，MSE，又称L2 Loss）和平均绝对误差损失（Mean Absolute Error，MAE，又称L1 Loss）。MSE损失函数计算的是预测值与真实值之间差的...
【机器学习】鲁棒（健壮）回归-Huber损失（Huber Loss）
IT古董
01-16 1753
Huber损失是一种对异常值（outliers）具有鲁棒性的损失函数，它在处理回归问题时常用，结合了均方误差（MSE）的平滑性和平均绝对误差（MAE）的鲁棒性。Huber损失通过引入一个阈值 来定义，当误差小于 时采用 MSE，当误差大于 时采用 MAE。
机器学习中的各种损失函数（L1，L2，smoothL1，交叉熵 ）
白羊by的博客
08-28 2260
机器学习中的各种损失函数（L1，L2，smoothL1，交叉熵 ）
机器学习：线性回归之损失函数、正规方程、梯度下降、过拟合和欠拟合、正则化
m0_58475958的博客
07-16 6464
1.线性回归 1.1 定义与公式 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归 通用公式： h(w)=w1x1+w2x2+⋯+wnxn+b=WTX+bh(w)=w_1x_1+w_2x_2+\cdots+w_nx_n+b=W^TX+b h(w)=w1​x1​+w2​x2​+⋯+wn​xn​+b=WTX+b 其中W、X可以理解为矩阵
Huber Loss
Lavi的专栏
08-05 3264
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度，所以 HuberLoss 是一种常用的鲁棒的回归损失函数。 Huber Loss 定义如下:...
Huber loss
qq_38156104的博客
02-07 667
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对噪声（或叫离群点，outliers）的鲁棒性。 当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，Huber Loss降低了对离群点的惩罚程度，所以 Huber Loss 是一种常用的鲁棒的回归损失函数。 Definition 由定义可知 Huber Loss 处处可导 ...
线性回归中 给损失函数加的正则项L1和L2
lc574260570的博客
08-22 3340
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。 L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为||w||1 L2正则化是指权值向量w中各个元素的平方和然后再...
机器学习入门：五种回归损失函数解析
"这篇文档详细介绍了机器学习中常用的五种回归损失函数，包括L1、L2损失函数，以及相对不那么常见的Huber损失和Quantile损失。文档中还涉及了损失函数在训练模型过程中的作用，以及如何通过梯度下降来寻找损失函数的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值