机器学习的分类问题和回归问题的损失函数

本文深入探讨了机器学习中的损失函数,包括回归问题的均方误差(MSE)、绝对值损失(MAE)和Huber损失,以及分类问题的0-1损失、交叉熵损失、Logistic损失、铰链损失和指数损失。通过对这些损失函数的数学表达式和特性的分析,揭示了它们在不同场景下的适用性和优缺点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  前几天面试了一个互联网小公司的算法岗,结果面试官避开了所有的应用项目问题的考察转向对理论知识的考察,但我回答的不是很理想,所以承接着上一个博客和这个博客有可能还有下一个博客,好好的将机器学习中的基本理论知识透彻地总结一下。

  损失函数一般的写法是L(y,f(x))L(y,f(x))L(y,f(x)),是指通过机器学习模型预测出来的样本的标签和样本真实的标签的某个不一致的度量。损失函数一般是越小越好。

  在回归问题中,损失函数表示为:y−f(x)y-f(x)yf(x);在分类问题中,表示为:yf(x)yf(x)yf(x)

回归问题中的损失函数表示

  回归问题的学习等价于函数拟合:选择一条函数曲线使其很好的拟合已知数据并很好地预测未知数据。所以回归问题中的yyyf(x)f(x)f(x)∈R\in{\mathbb{R}}R且用残差y−f(x)y-f(x)yf(x)来度量回归问题的预测值和真实值的不一致程度。

1、均方误差损失(MSE,L2 loss)

  均方误差损失又叫做L2L2L2损失,数学表达式如下:

L(y,y^)=1n∑i=1n(yi−f(xi))2.L(y,\hat{y})=\frac{1}{n}\sum_{i=1}^n(y_i-f(x_i))^2.L(y,y^)=n1i=1n(yif(xi))2.

  这是最常见的损失函数,是凸函数,可以使用梯度下降法进行优化。但对于远离真实值的点相对来说比较敏感,损失函数的代价值很大,这造成了均方误差损失函数的鲁棒性变差。

2、绝对值损失(MAE,L1 Loss)

  绝对值损失函数又叫做L1L1L1损失函数,数学表达式如下:

L(y,y^)=1n∑i=1n∣yi−f(xi)∣.L(y,\hat{y})=\frac{1}{n}\sum_{i=1}^n|y_i-f(x_i)|.L(y,y^)=n1i=1nyif(xi).

  绝对值损失函数对偏远点的处理相对均方误差来说很好,但是在y=f(x)y=f(x)y=f(x)处是不可导函数,并且MAEMAEMAE更新的梯度始终相同,在接近最优值处仍可能维持着较大的梯度而错过最优值。

3、 Huber损失函数

  函数公式如下:

L(y,y^)={ 12∣y−f(x)∣2,if   ∣y−f(x)∣≤δδ∣y−f(x)∣−12δ2,if   ∣y−f(x)∣>δ.L(y,\hat{y})= \begin{cases} \frac{1}{2}|y-f(x)|^2,&\text{if} \ \ \ |y-f(x)|\le\delta \\ \delta|y-f(x)|-\frac{1}{2}\delta^2,&\text{if} \ \ \ |y-f(x)|>\delta \end{cases}.L(y,y^

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值