机器学习中的损失函数

最新推荐文章于 2025-03-06 15:27:32 发布
最新推荐文章于 2025-03-06 15:27:32 发布
阅读量3k 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Ding_xiaofei/article/details/82756191
版权
本文介绍了机器学习中的几种损失函数，包括0-1损失、平方损失、绝对值损失、对数损失、交叉熵损失和AUC损失。0-1损失由于不可导而较少使用，平方损失和绝对值损失衡量预测误差，交叉熵损失用于衡量概率分布的接近程度，AUC损失则适用于二分类问题。文章还探讨了如何将非可导的损失函数转化为可导形式以应用于算法优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

开篇

很多时候，机器学习的算法是可以按照损失函数来划分的，像我以前博客中提到的LR和SVM的区别，首先它们的损失函数就是不一样的。这边我还是先整理一部分损失函数，近期会逐步的完善。

0-1损失函数

该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多是一样的
在这里插入图片描述
很少被使用到，主要是不可导，必要是需要转化成其他可导的函数，才能完成算法的优化，后面介绍auc loss的时候可以详细谈谈怎么转化成可导的损失函数。

平方损失函数

预测差距的平方
在这里插入图片描述

绝对值损失函数

在这里插入图片描述

对数损失函数

在这里插入图片描述

最低0.47元/天 解锁文章
机器学习中10种损失函数大梳理！建议收藏，你一定用得到
CKissjy的博客
05-15 2052
今儿想和大家聊聊关于损失函数方面的问题。是在机器学习和深度学习中用来衡量模型预测值与真实标签之间差异的函数。不同的任务和模型可能需要不同的损失函数。今天就聊聊下面常见的损失函数，关于原理、使用场景，并且给出完整的代码：均方误差平均绝对误差交叉熵损失对数损失多类别交叉熵损失二分类交叉熵损失余弦相似度损失希尔伯特-施密特口袋Huber损失感知器损失ok，咱们一起来学习一下~
机器学习中的损失函数 （着重比较：hinge loss vs softmax loss）
热门推荐
Vinicier的专栏
11-09 8万+
1. 损失函数损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示： θ∗=argminθ1N∑i=1NL(yi,
机器学习中常用损失函数
Missaya的博客
10-18 1667
1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x)值。 2. 常用损失函数 常见的损失误差有五种： 1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 2. 互熵损失 （Cross Entrop...
机器学习笔记——常用损失函数
haopinglianlian的博客
03-06 1014
本笔记介绍机器学习中常见的损失函数和代价函数，各函数的使用场景。
机器学习-损失函数
Bryan__的专栏
05-06 3948
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是 经验风险函数 的核心部分，也是 结构风险函数 重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，
机器学习——损失函数
qq_41566819的博客
12-22 2383
损失函数(loss function)又称为误差函数(error function)，是衡量模型好坏的标准，用于估量模型的预测值与真实值的不一致程度，是一个非负实值函数。损失函数的一般表示为L(y,f(x))，用以衡量真实值y与预测值f(x)不一致的程度，一般越小越好。
机器学习中的损失函数（Loss Function）介绍、说明
weixin_44177594的博客
04-08 1万+
损失函数损失函数介绍常见的损失函数1.对数损失函数（Logloss）2. hinge loss 合页损失函数3. exp-loss 指数损失函数4. cross-entropy loss 交叉熵损失函数5. quadratic loss 平方误差损失函数6. absolution loss (绝对值损失函数)7. 0-1 loss (0-1损失函数) 损失函数介绍 解决一个机器学习问题主要有两部分：数据和算法。 算法又有三个部分组成：假设函数、损失函数、算法优化。 损失函数： 用于计算损失的函数。在机器
AI基础：机器学习的损失函数
10-11
在机器学习的实践中，除了理解损失函数的基本概念，还需要熟悉相关的工具和技术，如Python编程、Numpy、Pandas、Scipy等数据处理库，以及Scikit-learn这样的机器学习库。特征工程也是优化模型的重要环节，包括对数值...
机器学习中的常见问题——损失函数
11-25
**定义**：Log 损失函数是 0-1 损失函数的一种代理函数，它试图解决 0-1 损失函数中存在的问题。Log 损失函数的形式如下： \[ L_{\text{log}}(m) = \log(1 + e^{-m}) \] **应用**：Log 损失函数广泛应用于逻辑回归...
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数 在机器学习和深度学习中，我们常见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉熵则使用很频繁，为什么呢？本文将带您领略香农...
机器学习中常用的损失函数一览（必会技能）.md
最新发布
03-11
损失函数的选择是机器学习模型训练中的重要环节。对于不同的问题类型和数据特性，选择合适的损失函数可以极大地影响模型的性能和准确性。本文所提供的损失函数类型总结，可以帮助读者更深入地理解损失函数的选择及其...
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
机器学习 损失函数 Loss function
qq_45351128的博客
05-02 3451
损失函数最小二乘法极大似然估计法交叉熵 在梯度下降中，所求的梯度其实就是损失函数的梯度。 损失函数有三种设计方法： （1）最小二乘法 （2）极大似然估计法 （3）交叉熵法 什么是损失函数呢？ 其实就是我们想的模型标准和现实模型相比较，相差多少的定量表达。 那么损失函数如何设计出来的呢？背后的含义是什么？ 最小二乘法 公式： 举例 存在一个神经网络，用于判断输入的图片是否是猫。 首先我们先输入一些带标签的训练数据，xi就是输入数据的标签(xi表示第i张是否是猫，1是猫，0不是猫) 这些图片在经过神经网络后
机器学习总结（一）：常见的损失函数
以梦为马，不负韶华
03-30 5万+
这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这
机器学习模型中的损失函数loss function
null的专栏
03-31 5万+
import matplotlib.pyplot as plt import numpy as np xmin, xmax = -4, 4 xx = np.linspace(xmin, xmax, 100) plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss") plt.plot(xx, np.where(x
详解机器学习中的损失函数
毛毛虫_Wendy的博客
08-21 5244
Class Content layout post title 详解机器学习中的损失函数 categories Blog description 机器学习中常见的损失函数以及它们的特点和适用场景 keywords 机器学习 损失函数 风险函数 1. 前言 我们知道机器学习的三要素是:方法= 模型+策略+算法,...
机器学习的损失函数
YoungGy的专栏
02-27 3074
机器学习的数学本质上是优化问题的求解，求解优化问题首先得构造相应优化问题的损失函数，本文将简要介绍squared loss、cross entropy、hinge loss、exponential loss损失函数。
为什么要用log, 机器学习中损失函数。
06-07
在机器学习中，损失函数是用来衡量模型输出与真实标签之间差异的函数。损失函数越小，模型的预测结果就越接近真实标签。而在某些情况下，我们需要对损失函数进行取对数的操作。 一般来说，我们使用对数损失函数来训练分类问题中的模型，因为对数损失函数可以看做是交叉熵损失函数的特例。交叉熵损失函数在分类问题中广泛使用，特别是在多分类问题中，因为它可以有效地衡量模型输出概率与真实标签之间的差异。而对数损失函数是一种常见的对数形式的损失函数，它在二元分类问题中使用比较多。 另外，使用对数损失函数还有一个好处是可以将损失转化为概率的形式，这样方便我们对模型的输出进行解释和分析。在神经网络中，使用对数损失函数可以避免数值上下溢的问题，同时也可以使反向传播的过程更加简单和高效。 总之，使用对数损失函数可以使模型训练更加高效、方便，同时也可以提高模型的性能和可解释性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值