机器学习中，这5大损失函数你得知道 哪些？

最新推荐文章于 2025-12-08 20:03:42 发布
原创 最新推荐文章于 2025-12-08 20:03:42 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了机器学习中常见的损失函数类型，包括0-1损失函数、平方损失函数、绝对值损失函数、对数损失函数和指数损失函数等，并探讨了它们在不同场景如线性回归、逻辑回归及AdaBoost算法中的应用。

1.0-1损失函数(0-1 loss function)

2.平方损失函数(quadratic loss function)     线性回归

3.绝对值损失函数(absolute loss function)

4.对数损失函数(logarithmic loss function)   逻辑回归

5.指数损失函数                              adaboost

全局损失函数

逻辑回归中的损失函数

Beyond_2016
关注
【机器学习】MSE和MAE损失函数有什么区别？回归问题的常用损失函数
q742971636的博客
06-17 2639
误差处理方式MSE 使用平方处理误差，对大误差更加敏感。MAE 使用绝对值处理误差，对所有误差均一对待。异常值影响MSE 受到异常值的显著影响。MAE 对异常值的影响较小，更加鲁棒。优化和求导MSE 的平方性质使其导数在很多优化算法中计算更为简便。MAE 的绝对值使其在某些优化过程中可能不如 MSE 简单，但在一些鲁棒优化问题中更加有效。
机器学习笔记——损失函数、代价函数和KL散度
haopinglianlian的博客
11-17 3361
本笔记介绍机器学习中常见的损失函数和代价函数，各函数的使用场景。
损失函数
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
损失函数有哪些？
weixin_41168869的博客
07-24 1647
在分类问题中，模型输出的是每个类别的概率，交叉熵损失函数用于衡量模型预测的概率分布与真实标签的差异。它的思想是在训练分类器时，让所有正确分类的样本离分类超平面的距离最远，并且所有错误分类的样本都被正确分类。Hinge损失函数的值在正确分类的样本处为0，而在错误分类的样本处等于预测值和真实值的差距。MSE是回归问题中最常见的损失函数之一。它的思想是，计算真实标签的概率分布与模型预测的概率分布之间的差异。这些损失函数都是在机器学习和深度学习中常见的重要损失函数，它们能够帮助我们评估模型的性能并优化模型的参数。
交叉熵：原理、推导与完整实现
最新发布
weixin_45776000的博客
12-08 795
第一章：信息论基础与交叉熵的起源 1.1 信息论基本概念 1.1.1 信息量（自信息） 信息量衡量一个事件发生的"意外程度"。对于发生概率为 p(x)p(x)p(x) 的事件 xxx，其信息量为： 性质：概率越小的事件，信息量越大必然事件（p=1p=1p=1）的信息量为0信息量单位：比特（bit，使用 log⁡2\log_2log2​）或奈特（nat，使用 ln⁡\lnln） 1.1.2 熵（Entropy） 熵衡量一个随机变量的不确定性，即平均信息量： 对于连续随机变量： 示例：公平硬币抛掷的熵为：
机器学习中的常见问题——损失函数
11-25
机器学习中的常见问题——损失函数
常用的损失函数（MSE、MAE、Cross-Entropy Loss、Hinge Loss、 0-1 Loss、Huber Loss）
m0_73684307的博客
08-17 3888
损失函数（Loss Function）概念、特点及不同类型的损失函数及其适用场景（均方误差（Mean Squared Error, MSE）、 平均绝对误差（Mean Absolute Error, MAE）、 交叉熵损失（Cross-Entropy Loss）、Hinge Loss、0-1 Loss、Huber Loss）
损失函数详解
金石软件
05-07 8261
是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为代价函数（cost function），更简单的理解就是损失函数是针对单个样本的，而代价函数是针对所有样本的。。在构建模型的过程中，如果特征的权重发生了变化得到了更好或更差的预测，就需要利用损失函数来判断模型中特征的权重是否需要改变，以及改变的方向。
机器学习中的代价函数、损失函数、风险函数、目标函数
CarpeDiem
12-11 7981
本篇主要介绍机器学习经常遇到的代价函数、损失函数、风险函数、目标函数。损失函数主要介绍0-1损失函数、 平方损失函数、绝对值损失函数、对数损失函数、Hinge损失函数；风险函数包括期望风险、经验风险、结构风险；代价函数包括均方误差、均方根误差、平均绝对误差、交叉嫡代价函数、Huber损失函数、Log-Cosh、Loss分位数损失函数；最后分析各种算法里用到损失函数，主要包括逻辑回归模型、决策树、朴素贝叶斯、KNN、SVM、提升方法。
机器学习——损失函数（lossfunction）
qq_53142796的博客
04-24 1745
简单的理解就是每一个样本经过模型后会得到一个预测值，然后得到的预测值和真实值的差值就成为损失（当然损失值越小证明模型越是成功），我们知道有许多不同种类的损失函数，这些函数本质上就是计算预测值和真实值的差距的一类型函数，然后经过库（如pytorch，tensorflow等）的封装形成了有具体名字的函数。
机器学习（15）---代价函数、损失函数和目标函数详解
m0_62881487的博客
09-15 2838
代价函数：代价函数（Cost Function）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。它用于衡量模型在所有样本上的平均表现。代价函数通常包含一些正则化项以防止过拟合。在训练过程中，我们希望最小化代价函数。损失函数：损失函数（Loss Function）是定义在单个样本上的，算的是一个样本的误差。它用于衡量模型在每个单独样本上的表现。对于训练过程来说，我们希望所有样本上的损失函数之和最小。
【机器学习】各种损失函数
weixin_41643439的博客
11-16 506
版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.youkuaiyun.com/qq547276542/article/details/77980042 常见的损失函数 1.0-1损失函数(0-1 loss function) L(Y,f(X))={1,Y≠f(X)0,Y=f(X) L(Y,f(X))={1,Y≠f(X)0,Y=f(X)   可以看出，该损失函数的意义就是，...
DL知识拾贝（Pytorch）(三)：DL元素之二：损失函数
贝壳er的博客
01-16 1311
       这一系列的学习笔记是基于李沐等人的开源书《动手学深度学习》总结和扩展而来。感谢Pytorch版项目原作者：项目地址。        个人梳理了一下学习路线，并在知识体系中扩展了一些其他的东西，例如：讨论损失函数； 图卷积网络 ； 对抗生成网络； 注意力机制；模型压缩； 轻量化网络等等。   ...
浅析机器学习中各种损失函数及其含义
Eason的博客
09-14 2万+
常见的损失函数1.0-1损失函数(0-1 loss function)L(Y,f(X))={1,Y≠f(X)0,Y=f(X) L(Y,f(X))=\left\{ \begin{aligned}&1,\quad Y\ne f(X)\\& 0,\quad Y=f(X) \end{aligned} \right.   可以看出，该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0
几种损失函数（Loss Function）
gguuookkaaii1234
11-17 3081
损失函数（Loss Function）http://www.cnblogs.com/rocketfan/p/4083821.html
机器学习和深度学习中的损失函数
陶将的博客
09-29 5148
损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，它是一个非负函数，记为一般来说，损失函数越小，模型的鲁棒性越好。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数表示预测值与真实值之间的差异，结构风险损失函数是指经验风险损失函数加上正则化。一般形式为：                                                 ...
神经网络常用和不常用损失函数
weixin_49708196的博客
10-18 300
神经网络中常用损失函数汇总 假设训练集有N个数据对，输入数据XXX：x1,x2,⋯ ,xNx_1, x_2, \cdots, x_Nx1​,x2​,⋯,xN​，输入数据预测值为YpredictY_{predict}Ypredict​：ypredict1,ypredict2,⋯ ,ypredictNy_{predict}^1, y_{predict}^2, \cdots, y_{predict}^Nypredict1​,ypredict2​,⋯,ypredictN​，输入数据真实值为YtrueY_{true}
如何证明Logisitic Regression的损失函数具有全局最优解？
weixin_44270537的博客
07-25 255
如何证明Logisitic Regression的损失函数具有全局最优解？ 填坑，本人比较懒，所以用手写的方式呈现
【深度学习】最全的十九种损失函数汇总
热门推荐
wzk4869的博客
06-27 3万+
【深度学习】最全的十九种损失函数汇总
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值