为什么回归问题用MSE?

机器学习模型中的评价指标 列举了机器学习模型中常用的一些评价指标 阅读详情

最近在看李沐的实用机器学习课程,讲到regression问题的loss的时候有弹幕问:“为什么要平方?”

如果是几年前学生问我这个问题,我会回答:“因为做回归的时候的我们的残差有正有负,取个平方求和以后可以很简单的衡量模型的好坏。同时因为平方后容易求导数,比取绝对值还要分情况讨论好用。”

但是经过了几年的科研以后,我觉得这样的回答太过于经验性了,一定会有什么更有道理的解释,于是在知乎上搜了搜。

《CC思SS:回归模型中的代价函数应该用MSE还是MAE[1]》 这篇文章中提到MSE对于偏差比较大的数据惩罚得比较多,但是会被outlier影响,同时MSE的优化目标是平均值,而MAE的优化目标是中位数。即如果我们的数据集足够大,对于同一个x会有多个y,MSE的目标是尽可能让我们的预测值接近这些y的平均值。同时这篇文章还提到在做gradient descent的时候,MSE的梯度可以在越接近最小值的地方越平缓,这样不容易步子扯大了。而MAE的梯度一直不变,得手动调整learning rate。

《在回归问题中,为何对MSE损失的最小化等效于最大似然估计?[2]》而这个问题里有人提到“根据中心极限定理,误差服从正态分布,此时使得样本似然函数最大等价于使得MSE最小。” 这段话引起了我的兴趣,在查阅了一些英文资料以后发现这是来自于花书的结论(Ian的《Deep Learning》)。

以下解释来源于花书(5.5)和[这篇博客][3]

要弄懂为什么回归问题要用MSE,首先要先明白什么是极大似然估计MLE(Maximum Likelihood Estimation)。

极大似然估计MLE

用一个一维的数据来讲解MLE的过程,假设我们有一组数据,我们假设它服从正态分布,我们的目的是:找到一组正态分布的均值和方差,使得在这套正态分布的均值方差下,我们观测到这批数据的概率最大。

097aea9a128345272b77121734c2d15b.png

手上的数据

关于这组数据,我们先胡乱地猜测一下它符合的正态分布如下:

3cc2164d37f83a301f6abbf4f0d5201b.png

胡乱猜测的正态分布

对于这个正态分布,我们可以计算每个点出现的概率: 。其中 和 是这个正态分布的均值和方差, 是第 条数据,我们把每条数据出现的概率相乘,得到了“在这套正态分布的均值方差下,我们观测到这批数据的概率”。

同样的,我们可以猜测另一种正态分布:

ea1b5b82b286d07d35997a1a187d7d70.png

另一种猜测的正态分布

同样的,我们可以计算“在这套正态分布的均值方差下,我们观测到这批数据的概率”。

最后,我们在这群待选的均值和方差中,选出那个能使我们观测到这批数据的概率最大的均值和方差。也就是我们在做

402 Payment Required

回归问题

现在我们再看回归问题,对于回归问题来说,我们的目标不是去找一个x的正态分布了。对于一个回归问题,我们以最简单的线性回归举例。对于一个回归问题,我们的目标是 ,其中 和 是模型的参数,而 是噪声,我们假设噪声符合正态分布 。

那么我们的 其实也可以看成符合正态分布(并不是严谨的写法) ,其中 其实就是模型的预测值,也就是说 。

正态分布的probability density function是 ,带入得到。

那么也就是说,如果我们想最大化我们观测到的 的情况的话,我们应该最大化上面这个pdf的连乘结果。注意到这个值由一个常数乘上一个 的次方项,优化的时候常数项可以忽略。

于是我们的目标变成了

402 Payment Required

,这里出现了连乘,又出现了 的次方项,很正常的想到取log,于是变成了 ,忽略常数项,稍微整理一下得到 。

于是我们就证明了,我们在做线性回归的时候,我们如果假设我们的噪声符合高斯分布,那么我们的目标函数就是MSE。

总结

很多时候,一些基础知识可能会影响你对一个模型结果表现的理解,如果对这种基础知识没有概念的话,深度学习就变成了瞎调模型瞎调参数了。[另一篇博客][4]就提到了,在做super resolution的时候,如果用MSE,做出来的图片会非常的模糊,就是因为MSE是基于高斯分布假设,最后的结果会尽可能地靠近高斯分布最高的地方,使得结果不会太sharp。以后还是得适时提高深度学习的理论基础。

4096301c160d9c40d1bd9d17e261cc87.gif

参考资料

REFERENCE

[1] CC思SS:回归模型中的代价函数应该用MSE还是MAE
https://zhuanlan.zhihu.com/p/45790146
[2] 在回归问题中,为何对MSE损失的最小化等效于最大似然估计?
https://www.zhihu.com/question/426901520
[3] https://link.zhihu.com/?target=https%3A//towardsdatascience.com/where-does-mean-squared-error-mse-come-from-2002bbbd7806
[4] https://link.zhihu.com/?target=https%3A//towardsdatascience.com/mse-is-cross-entropy-at-heart-maximum-likelihood-estimation-explained-181a29450a0b

作者:Matrix.小泽直树
来源:https://zhuanlan.zhihu.com/p/463812174

觉得还不错就给我一个小小的鼓励吧!
为什么均方差(MSE)不适合分类问题?交叉熵(cross-entropy)不适合回归问题? 1.为什么均方差(MSE)不适合分类问题? 当sigmoid函数和MSE一起使用时会出现梯度消失。原因如下: (1)MSE对参数的偏导 (2)corss-entropy对参数的偏导 由上述公式可以看出,在使用MSE时,w、b的梯度均与sigmoid函数对z的偏导有关系,而sigmoid函数的偏导在自变量非常大或者非常小时,偏导数的值接近于零,这将导致w、b的梯度将不会变化,也就是出现所谓的... 阅读详情

相关推荐

完整内、外期货量化交易系统源码可售

支持客户登录校验,支持所有的实时行情和汇总报价功能、实时资讯(报价,列表,分时,分钟成交明晰,),多线程支持盘后收盘作业下载(日线,5分钟线,15分钟, 30分钟,60分钟线,),支持从服务器下载相关运行配置(来自服务器动态配置信息,如收盘日期等),实现状态条显示。收盘作业包括日线、5分钟线、15分钟线、30分钟、60分钟线、2小时线、4小时线每日分时走势。综合信息栏显示用户账户信息、合约信息、当日委托单记录、当日成交记录、当日平仓记录、当日跟单记录、当日(月/周)排行榜、下单栏、持仓信息;

qq_35600909的博客 1806

【机器学习笔记】机器学习评价指标——MSE、RMSE、MAE、R2

但通常模型不会这么完美,总会有误差存在,当误差很小的时候,分子小于分母,模型会趋近 1,仍然是好的模型,随着误差越来越大,R2-score 也会离最大值 1 越来越远,直到出现第 2 中情况。R2-score 反映的是大概有多准,因为,随着样本数量的增加,R2-score必然增加,无法真正定量说明准确程度,只能大概定量。可以看出,RMSE=sqrt(MSE),因此,MSE 和 RMSE 二者是呈正相关的,MSE 值大,RMSE 值也大,所以在评价线性回归模型效果的时候,使用 RMSE 就可以了。

A34436791的博客 2万+

Halcon —— 图像像素类型与转换

图像类型 就目前工业领域主流的图像处理工具halcon来讲,有以下几张图像类型:‘byte’, ‘complex’, ‘cyclic’, ‘direction’, ‘int1’, ‘int2’, ‘int4’, ‘int8’, ‘real’, ‘uint2’,具体含义如下图所示。相互间的转换可通过convert_image_type算子完成,但盲目转换会导致图像像素值异常。 ‘byte’ 每像素1字节,无符号 值范围: (0到255) ‘int1’ 每像素1字节,有符号 值范围: (-128到127) ‘

baidu_35536188的博客 1万+

均值的损失函数_为什么MSE损失的收敛目标是均值,而MAE的是中位数?

你了解各种损失函数的差别吗?以均方误差(MSE)和平均绝对值误差(MAE)为例,这两位是回归模型中的常客了。从直觉上看,都是要预估与目标更一致,表面上只是二次和一次的差别,更深入的差异我们可以从数学上挖掘。无论损失函数多么花哨,最终都要归结于收敛值的不同,这也是不同损失函数各自价值的体现: 我们可以根据需要选择合适的函数。这里我们就看下二者收敛目标的差别。MSE这是MSE损失函数的计算公式。m是样...

weixin_34481252的博客 1392

Windows中的TLS 1.2启用方法(IIS、C#、.Net framework)

折腾几天了windows中的tls1.2启用方法!特此记录一下 开发背景: 在一个用.net framework 2.0开发的客户端程序里面嵌入功能调用第三方物联网相关接口,服务器上有一个restful接口用于接收第三方上报的数据及处理,最后再调用第三方的物联网相关接口。本机开发环境Windows 10,客户服务器是Windows Server 2008 R2。 第一次写这种物联网相关的接口调用,而且第三方提供的文档比较简单,最基本的报文示例都没。开发环境里面各种摸索一步一个坑,首先在发送HTTP请求前

dl1314ld的博客 1万+

ESP32实战指南:SPI驱动ADXL345三轴加速度传感器的精准数据采集与姿态解算

本文详细介绍了如何使用ESP32通过SPI接口驱动ADXL345三轴加速度传感器,实现精准数据采集与姿态解算。从硬件连接到SPI通信优化,再到数据处理和低功耗策略,提供了全面的实战指南。特别适合物联网开发者和硬件工程师参考,帮助快速掌握传感器数据采集技术。

vim8coder的博客 1045

机器学习算法系列—————机器学习中的评价指标(三)

机器学习中的评价指标

guoguozgw的博客 3810

如何设计ADAS系统功能状态机(一)

状态机模块在自动驾驶系统中扮演着关键的角色,它负责管理和控制各个功能的状态转换和行为执行。今天我们来聊聊如何设计自动驾驶系统的状态机。

supass2018的博客 1617

【机器学习】为什么回归问题用 MSE?

作者:Matrix.小泽直树来源:https://zhuanlan.zhihu.com/p/463812174最近在看李沐的实用机器学习课程,讲到regression问题的loss的时候有弹幕问:“为什么要平方?”如果是几年前学生问我这个问题,我会回答:“因为做回归的时候的我们的残差有正有负,取个平方求和以后可以很简单的衡量模型的好坏。同时因为平方后容易求导数,比取绝对值...

fengdu78的博客 564

避坑指南:Dify+Docker+Ollama离线部署实战与疑难解析

本文详细解析了在国产化系统(如银河麒麟V10)内网环境中,如何从零开始离线部署Dify、Docker与Ollama的全栈AI应用开发平台。文章重点拆解了Docker安装中的“没有Release文件”和“GPG密钥错误”等典型报错解决方案,并提供了Ollama离线模型导入与Dify连接配置的完整实战指南,旨在帮助开发者高效完成本地部署,避开常见陷阱。

dd012的博客 466

基于高精度三维机器视觉的新能源汽车锂电池表面缺陷检测

在机器视觉行业迅速发展的背景下,市场上提供了功能强大且种类齐全的3D相机系列,可以满足锂电池从电芯到模组各个工艺和工位的3D检测需求。

Hinyeung_Limited的博客 1135

为什么回归问题用 MSE?

来源:机器学习算法那些事 本文约1700字,建议阅读9分钟很多时候,一些基础知识可能会影响你对一个模型结果表现的理解。最近在看李沐的实用机器学习课程,讲到regression问题的loss的时候有弹幕问:“为什么要平方?”如果是几年前学生问我这个问题,我会回答:“因为做回归的时候的我们的残差有正有负,取个平方求和以后可以很简单的衡量模型的好坏。同时因为平方后容易求导数,比取绝对值还要分情况讨论好用...

数据派THU 392

使用PyTorch和TextCNN实现英文长文本诗歌文本分类

在这个过程中,我们了解了如何进行文本数据预处理、构建TextCNN模型,并进行训练与评估。首先,我们需要将文本文件加载到内存中,并将每个诗歌作为一个样本。然后,我们需要将每个样本转换为数字表示,这可以通过将词汇表中的每个词语映射到一个唯一的整数来实现。此外,我们还需要将每个样本的长度统一为固定值,以便于模型输入。通过这个示例,我们可以学习如何构建一个简单但有效的文本分类模型,并在具体的应用场景中进行训练和预测。该模型通过使用多个不同尺寸的卷积核来捕捉文本中的不同长度的信息,并通过最大池化操作提取关键特征。

loop_syntax648的博客 254

梯度下降法实现逻辑回归,以及关于为什么 MSE 不能用于分类问题

梯度下降法实现逻辑回归

x66ccff 885

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

为什么一般多分类问题用交叉熵而不是MSE?

MSE & Cross Entropy

xcnn_的博客 763

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

NLP面试必问:“为什么大模型的损失函数采用交叉熵而不是 MSE?”

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

m0_65555479的博客 966

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

为什么不用平方误差(MSE)作为Logistic回归的损失函数?

在这篇博文中,我们主要对比在逻辑斯蒂回归中的**log loss**(对数损失)和**mean squared error**(平均平方误差),并且根据经验和数学分析证明为什么我们推荐使用“log loss”

拉风小宇的博客 1万+

关于为什么分类问题不能使用MSE

从本质上讲,交叉熵衡量的是同一个随机变量中的两个不同概率分布的差异程度,在机器学习中就表示为真实概率分布和预测概率分布之间的差异,所以交叉熵本质是概率问题,和几何上的欧式距离无关,在回归问题中才有欧式距离的说法。这就要求使用激活函数对最后一层进行处理,二分类使用sigmoid,多分类就使用softmax,这两个函数本质上是等价的。也是可以的,但是更多的是将回归问题转变为分类问题(离散化),然后使用交叉熵损失函数。,因此,只有在a被正确预测(a=1),且b和c都是相同值时,loss最小。

qq_40519226的博客 1882

【探讨】逻辑回归为什么不用mse损失函数

逻辑回归是一种二分类算法,用来解决二分类的问题。逻辑回归模型的输出是一个概率值,表示样本属于目标类的概率。它通过判断数据属于某一类的概率值大小,来决定该数据判为哪一类。在实际应用中,逻辑回归模型可以用于数据挖掘、疾病自动诊断、经济预测等领域。例如,通过逻辑回归模型可以预测小贷中的逾期概率,并根据审批阈值来确定是否对客户授信等等。在模型定义中,逻辑回归通过sigmoid函数将线性回归的输出转换为一个概率值。

botf201802的博客 2293

分类问题的损失函数为什么一般不用MSE?

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34392435的博客 3133

回归和分类模型性能评估指标MSE,MAE,PR,ROC,AUC

文章目录0. 模型评估是什么,为什么1. 不同类型问题的评估指标 0. 模型评估是什么,为什么 模型评估其本质是为了解决模型的泛化问题,由于各种原因,训练完成的模型可能会产生过拟合和欠拟合问题,因此需要对模型评估其泛化能力,并进行合适的参数调整以求得模型最优。 为什么要进行模型评估? 除了考虑到模型泛化能力的问题,同时也要兼顾不同业务场景下的业务指标不同。对于不同的业务场景,选择对应的评估指标,可...

优快云_SUSAN的博客 8708

分类问题为什么用交叉熵损失不用 MSE 损失

本文从概率、梯度和直观三个角度说明为何分类问题使用交叉熵损失而非 MSE 损失

佚失的诗篇 7517
上一篇: 周杰伦300多万NFT被黑客盗走,上链加密艺术就这??
下一篇: 成为算法工程师的路上,掌握什么思维会让自我提升突飞猛进?
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值