MSE和MAE

本文深入探讨了MSE(均方误差)和MAE(平均绝对误差)两种损失函数的特性,分析了它们对异常值的敏感度及优化效率。指出MSE适合用于检测异常值,而MAE更适合作为预测模型的学习目标,尤其是在异常值较多的数据集中。

两种损失函数的性质

异常值

MSE对异常值敏感,因为它的惩罚是平方的,所以异常值的loss会非常大。 
MAE对异常之不敏感,

不妨设拟合函数为常数,那么MSE就相当于所有数据的均值(列出loss对c求导即可),而MAE相当于所有数据的中位数,所以会对异常值不敏感。

优化效率

MAE不可导而且所有的导数的绝对值都相同,优化时无法确定更新速度, 
MSE可导,有closed-form解,只需要令偏导数为0即可。

如何选择

如果想要检测异常值则使用MSE,如果想学习一个预测模型则建议使用MAE,或者先进行异常值处理再使用MSE
--------------------- 
作者:PKU_Jade 
来源:优快云 
原文:https://blog.youkuaiyun.com/PKU_Jade/article/details/80745404 
版权声明:本文为博主原创文章,转载请附上博文链接!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值