逻辑回归损失函数和对数损失函数的关系

最新推荐文章于 2025-07-09 23:20:23 发布
最新推荐文章于 2025-07-09 23:20:23 发布
阅读量2.8k 收藏 5
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011047955/article/details/86606834
本文探讨了对数损失函数和逻辑回归损失函数的关系，通过数学推导展示了两者在不同情况下的一致性。针对目标变量y取值为1或0的情况，对逻辑回归损失函数进行了等价转化，得到了对数损失函数的形式，从而说明了它们的本质相同。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇文章的目的是要记录一下自己学习对数损失函数时的一些疑惑，以及自己对疑惑的理解。这部分理解主要参考了下面这篇博客
https://www.cnblogs.com/zhangchaoyang/articles/8157893.html
通常，一些书籍会直接告诉我们对数损失函数如下
(1) l o g ( 1 + e − y w x ) , log(1+e^{-ywx}), \tag{1} log(1+e−ywx),(1)
也叫做逻辑回归损失函数。通常，这时候我们会回想逻辑回归的损失函数，大部分文章或书籍的结果如下
(2) − y l o g ( g ( x ) ) − ( 1 − y ) l o g ( 1 − g ( x ) ) , -ylog(g(x))-(1-y)log(1-g(x))\tag{2}, −ylog(g(x))−(1−y)log(1−g(x)),(2)
其中 g ( x ) = 1 1 + e − z , z = w x g(x)=\frac{1}{1+e^{-z}},z=wx g(x)=

最低0.47元/天 解锁文章

200万优质内容无限畅学
损失函数(Loss Function)一文详解-回归问题常见损失函数Python代码实现+计算原理解析
master_hunter的博客
11-01 1万+
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法和任务中的不同的应用。因此有必要对整个损失函数体系有个比较全面的认识，方便以后我们遇到各类功能不同的损失函数有个清楚的认知，而且一般面试以及论文写作基本都会对这方面的知识涉及的非常深入。故本篇文章将结合实际Python代码实现损失函数功能，以及对整个损失函数体系进行深入了解。
AI学习指南机器学习篇-逻辑回归损失函数和优化
俞兆鹏的博客
06-04 1020
在机器学习中，逻辑回归是一种常用的分类算法。在逻辑回归中，我们需要定义一个损失函数来衡量模型预测值与实际标签之间的误差，并且需要通过优化算法来最小化损失函数，从而得到最优的模型参数。本文将详细探讨逻辑回归中的损失函数，包括对数损失函数（log loss），以及优化方法，如梯度下降算法。
深度学习：逻辑回归的损失函数
m0_46135173的博客
11-28 1700
逻辑回归的损失函数主要是，也称为。它是分类任务中常用的损失函数，特别适用于二分类问题。
[数学基础] 矩阵的秩及其应用
最新发布
极客不孤独的博客
07-09 1057
矩阵的秩是线性代数中的核心概念，定义为矩阵中线性无关行或列向量的最大数目。本文从数学定义、计算方法、物理意义和典型应用四个维度全面解析矩阵的秩。矩阵的秩不仅决定了线性方程组解的存在性和唯一性，还揭示了线性变换的维度压缩特性。通过高斯消元法、奇异值分解等方法可以计算矩阵的秩。在实际应用中，矩阵的秩在图像压缩、推荐系统、控制系统分析和神经网络优化等领域发挥着关键作用，成为解读线性世界和优化复杂系统的重要工具。理解矩阵的秩有助于掌握线性系统的本质特性，识别信息冗余，实现高效的数据处理和分析。
损失函数——对数损失（Logarithmic Loss，Log Loss）
weixin_50752408的博客
03-15 8936
要在训练中使用对数损失作为损失函数，可以在模型训练的过程中调用 PyTorch 中的损失函数计算方法，并将计算得到的损失加入到反向传播过程中以更新模型参数。在 PyTorch 中，可以使用 nn.BCELoss() 来计算二元分类问题的对数损失，使用 nn.CrossEntropyLoss() 来计算多元分类问题的对数损失。可以看出，当预测的概率接近于实际标签时，对数损失接近于0，而当预测的概率偏离实际标签时，对数损失会增加。需要注意的是，在训练过程中，我们使用的损失函数是 nn.BCELoss()
损失函数
sinoai
04-07 646
损失函数一. L11. smooth_l1_loss 一. L1 1. smooth_l1_loss   假设tensorA和tensorC是两个维度相同的张量，tensorC是tensorA与tensorB的差。那么tensorA和tensorC的smooth_l1_loss就是： smooth_l1_loss=∑i=1n{0.5Ci2, ∣Ci∣<1∣Ci∣−0.5,&nbsp...
对数损失函数(Logarithmic Loss Function)的原理和 Python 实现
alan的博客
11-12 5271
对数损失, 即 对数似然损失(Log-likelihood Loss) , 也称 逻辑斯谛回归损失(Logistic Loss) 或 交叉熵损失(cross-entropy Loss) , 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出. 对数损失通过惩罚错误的分类,实现对分类器的准确度(Accu...
逻辑回归的损失函数
暴力扬
07-08 958
逻辑损失函数通过对预测值和真实标签之间的差异进行量化，帮助优化算法调整模型参数，从而提高预测的准确性。损失函数的形式确保了在错误预测严重时（如将0预测为1或将1预测为0）会有较大的惩罚，从而推动模型学习更加准确的预测。
逻辑回归损失函数推导及其模型的推导
m0_49863527的博客
08-18 1802
注：本篇文章求解思路、过程均为原创，本文出现的文字、公式等均为对照原计算手稿逐字手敲，绝无复制粘贴学术不端之举，转载请注明URL以及出处。 1.什么是逻辑回归？ Logistic−RegressionLogistic-RegressionLogistic−Regression是一种广义线性回归，与多重线性回归分析有很多相同之处。如它们的模型形式基本上相同，都具有 w∗x+bw*x+bw∗x+b。而多重线性回归直接将 w∗x+bw*x+bw∗x+b 作为因变量，因此他们的因变量不同。 下文中所出现的 w∗x
线性回归的损失函数与逻辑回归的损失函数
wjlucc的专栏
05-02 2万+
一、线性回归损失函数的两种解释线性回归的损失函数是平方损失函数，为什么使用平方的形式，参考：线性回归损失函数为什么要用平方形式，讲得很清楚。 在线性回归中，对于训练数据样本(xi,yi)(x_i,y_i)，我们有如下的拟合直线： yiˆ=θ⋅xi\widehat{y_i}=\theta\cdot x_i 构建的损失函数是： C=∑i=1n(yi−yiˆ)2C=\sum\limits_{i=1
机器学习中的损失函数（Loss Function）介绍、说明
weixin_44177594的博客
04-08 1万+
损失函数损失函数介绍常见的损失函数1.对数损失函数（Logloss）2. hinge loss 合页损失函数3. exp-loss 指数损失函数4. cross-entropy loss 交叉熵损失函数5. quadratic loss 平方误差损失函数6. absolution loss (绝对值损失函数)7. 0-1 loss (0-1损失函数) 损失函数介绍 解决一个机器学习问题主要有两部分：数据和算法。 算法又有三个部分组成：假设函数、损失函数、算法优化。 损失函数： 用于计算损失的函数。在机器
各个算法的损失函数
weixin_41791402的博客
10-05 1186
1、平方和损失函数(square loss):L(yi,f(xi)) = (yi- f(xi))2,常用于回归中如最小二乘，权重可直接初始化，再通过梯度下降不断更新。 2、铰链损失函数(Hing loss): L(mi) = max(0,1-mi(w)),常用于SVM中，在SVM损失函数表示为： L(y(i),x(i)) = max(0,1-y(i)f(x(i))) 3、对数损失...
机器学习——损失函数
macan的博客
09-22 2490
机器学习——损失函数前言一、分类问题的损失函数1、0-1损失（one-zero loss）2、Log Loss3、Focal Loss4、相对熵、KL散度（Relative Entropy/Kullback-Leibler Divergence）5、指数损失（Exponential Loss）6、Hinge Loss二、回归问题的损失函数1、均值平方差（Mean Squared Error,MSE...
损失函数总结
rosefun96的博客
05-15 1万+
损失函数一般分为4种，HingeLoss 0-1 损失函数，绝对值损失函数，平方损失函数，对数损失函数。 （Hinge Loss）：主要用于支持向量机（SVM） 中 Hinge loss 可以用来解 间距最大化 的问题。 J(w)=12∥w∥2+C∑imax⁡(0,1−yiwTxi)=12∥w∥2+C∑imax⁡(0,1−mi(w))=12∥w∥2+C∑iLHinge(mi)\begin{ali...
机器学习之逻辑回归（自学笔记）
金亮的博客
08-21 507
逻辑回归的简单介绍 一，二分类 二，Sigmoid函数 （一）Sigmoid函数及其图像 (二) SIgmoid导数及其图像 三，逻辑回归 （一） 模型 （二）阈值 (三) 选取Sigmoid函数的原因 四，损失函数 五，梯度下降法 六，梯度下降法求解步骤 七，正则项
机器学习之svm
m0_56600567的博客
09-05 320
SVM SVM算法简介 SVM算法的API介绍 SVM算法原理 SVM的损失函数 SVM的核方法 SVM回归 SVM算法案例实践 目录SVMSVM算法简介SVM算法的API介绍SVM算法原理SVM的损失函数SVM的核方法SVM回归SVM算法案例实践 SVM算法简介 SvM: SVM全称是supported vector machine (支持向量机)，即寻找到一个超平面使样本分成两类，并且间隔最大。 超平面最大间隔：寻找一个平面，使得这个平面最大地原理最近的训练实例。如右图： 硬间隔分类：指严格地
统计学习方法 第6章：逻辑斯蒂回归
zhanzi1538的博客
06-10 688
算法总结： 补充知识： 提出模型 学习策略 最大熵模型 代码附录
常用激活函数(仅公式与图像)
jokerxsy的博客
04-28 1299
sigmoid: f(x)=11+e−xf(x)= {\frac{1}{1+e^{-x}}}f(x)=1+e−x1​ tanh relu r(x)=max(0,x)r(x) = max(0,x)r(x)=max(0,x) softplus f(x)=log⁡(1+ex) f(x) = \log{(1+e^x)} f(x)=log(1+ex) tobecontinued
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
逻辑回归的损失函数（对数似然函数） 求导
03-11
好的，我现在需要帮助用户理解逻辑回归的损失函数，也就是对数似然函数的求导过程。首先，我得回顾一下逻辑回归的基本原理。逻辑回归虽然名字里有“回归”，但它实际上是一个分类模型，通常用于二分类问题。它的核心...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值