损失函数：逻辑回归损失函数 推导简记

最新推荐文章于 2025-05-29 21:10:51 发布
原创 最新推荐文章于 2025-05-29 21:10:51 发布 · 6.3k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LR #逻辑回归 #损失函数 #logistic regression #最大似然

这篇博客详细介绍了逻辑回归的损失函数，从假设函数、二分类问题到最大似然估计，最终推导出损失函数J。通过取对数和负值，得到成本函数，便于计算。文中还探讨了参数迭代公式，解释了如何通过梯度下降法更新模型参数，以最小化损失函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里只推导逻辑回归的损失公式。

假设函数

hθ(x)=11+e−θTx(假设函数) h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}} \tag{假设函数} hθ​(x)=1+e−θTx1​(假设函数)

用于二分类

KaTeX parse error: Undefined control sequence: \mbox at position 41: …\theta( x), & \̲m̲b̲o̲x̲{if }y=1 \\ (1-…

总结：如果我们取对数和负值，可以代表对应的成本函数。和似然函数相反的方向。（log只是利于计算）。
KaTeX parse error: Undefined control sequence: \mbox at position 56: …theta( x)), & \̲m̲b̲o̲x̲{if }y=1 \\ -lo…

统一公式

我们找到联合概率公式：
p(y∣x,θ)=hθ(x)y⋅(1−hθ(x))1−y,(统一概率) p(y|x,\theta) = h_\theta( x)^{y} \cdot (1-h_\theta(x))^{1-y}, \tag{统一概率} p(y∣x,θ)=hθ​(x)y⋅(1−hθ​(x))

最低0.47元/天 解锁文章

200万优质内容无限畅学
从零实现深度学习框架——逻辑回归简介
日积月累，天道酬勤
01-12 5477
逻辑回归是可以作为分类任务的基准，也是神经网络的基石。本文对逻辑回归的原理进行简单的介绍，包含公式推导。
逻辑回归损失函数推导及其模型的推导
m0_49863527的博客
08-18 1794
注：本篇文章求解思路、过程均为原创，本文出现的文字、公式等均为对照原计算手稿逐字手敲，绝无复制粘贴学术不端之举，转载请注明URL以及出处。 1.什么是逻辑回归？ Logistic−RegressionLogistic-RegressionLogistic−Regression是一种广义线性回归，与多重线性回归分析有很多相同之处。如它们的模型形式基本上相同，都具有 w∗x+bw*x+bw∗x+b。而多重线性回归直接将 w∗x+bw*x+bw∗x+b 作为因变量，因此他们的因变量不同。 下文中所出现的 w∗x
逻辑回归损失函数推导
denghong637573的博客
03-12 274
引言 假设今天希望将机器学习应用到医院中去，比如对于某一个患了心脏病的病人，求他3个月之后病危的概率。那么我们该选择哪一个模型，或者可以尝试已经学过的线性回归？ 但是很遗憾的是，如果我们要利用线性回归，我们收集到的资料中应当包含病人3个月后病危的概率。这在实际中是很难得到的，因为对于一个患病的病人，你只能知道他3个月后到底是病危或者存活。所以线性回归并不适用这种场景。 logistic函...
逻辑回归详解：从原理到实践
最新发布
LNNNNNNNNLLLL的博客
05-29 1394
逻辑回归基于线性回归模型，但引入了一个关键的转换函数 ——Sigmoid 函数，将线性回归模型的输出值映射到 [0, 1] 区间，使其能够表示某一事件发生的概率。假设线性回归模型的输出为​，其中​是参数向量，​是特征向量。Sigmoid 函数的表达式为：​。逻辑回归不仅可以处理二分类问题，还可以通过扩展应用于多分类问题，常见的方法有 “一对多（One-vs-Rest，OvR）” 和 “多对多（One-vs-One，OvO）”。假设样本数据集​，其中​是第​个样本的特征向量，​是第​个样本的真实标签。
逻辑回归的损失函数（推导）
h2728677716的博客
02-23 904
前言： 不管是逻辑回归还是线性回归，比较好的减少loss损失的方法就是GD梯度下降。 而用梯度下降就要用到求损失函数，求损失函数就要用到最大似然估计MLE。 1.逻辑回归的概率表达式 对于预测正确的概率，可以将上面两个式子合并 2.运用最大似然估计求出最大概率 假设我们有m条样本，那么m条样本用概率公式相乘的最大值就是最大似然估计 用公式表达就是： 取log对数相乘符号变相加符号 ...
逻辑回归（logistic regression）损失函数（loss function）推导
亲亲Friends的博客
04-09 1万+
逻辑回归（logistic regression） 逻辑回归（LR）可以看做线性回归（linear regression）的拓展，二者的区别是：逻辑回归的结果为0或1，即分类；线性回归的结果是连续值，即回归1。 Binary LR 本文重点在二分类逻辑回归，其一般形式为： y^=σ(z)=σ(xTw) . \hat{y}=\sigma(z)=\sigma(\boldsymbol{x^T}\boldsymbol{w})\,. y^​=σ(z)=σ(xTw). 注意，这里σ(z)\sigma(z)σ(z)是Si
【公式】逻辑回归的损失函数是什么
wwcsd2018001的博客
12-03 4054
对于逻辑回归模型，损失函数是用来衡量模型预测概率与实际标签之间的差距的。在二分类问题中，逻辑回归模型的预测结果通常被解释为概率值，表示样本属于正类的概率。当这个概率值越接近于1时，表示模型预测样本为正类的可能性越大；反之，当概率值越接近于0时，表示模型预测样本为负类的可能性越大。
深度学习 二分类 损失函数_深度理解机器学习中常见损失函数
weixin_39786617的博客
11-23 3679
【！！！建议收藏！！！】1. 机器学习What机器学习之监督学习的本质可以简单地理解为：给定一系列的训练样本 ，然后学习一个从 的映射函数 ，使得对于给定的 ，可以得到一个最大程度上接近其真实标签（值） 的输出 。How如何学习这个最大程度上接近真实分布 的映射函数 呢？损失函数就是这个“学习过程中”最关键的组成部分（目标），用来衡量学习的模型的输出 与真实的 之间的距离，给模...
logit回归模型假设_机器学习基础---逻辑回归（假设函数与线性回归不同）
weixin_32384723的博客
02-01 1935
一：分类(一)分类基础在分类问题中，你要预测的变量y是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。在分类问题中，我们尝试预测的是结果是否属于某一个类(例如正确或错误)。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。...
吴恩达机器学习之逻辑回归：逻辑回归的假说表示、判定边界、代价函数、简化的成本函数和梯度下降、高级悠哈、多类别分类之一对多（详细笔记，建议收藏，已有专栏）
汪雯琦的博客
03-16 649
吴恩达机器学习栏目清单 专栏直达：https://blog.youkuaiyun.com/qq_35456045/category_9762715.html 文章目录6.逻辑回归(Logistic Regression)6.2 假说表示6.3 判定边界6.4 代价函数6.5 简化的成本函数和梯度下降6.6 高级优化6.7 多类别分类：一对多 6.逻辑回归(Logistic Regression) 6.1 分类...
逻辑回归损失函数推导及求导
wj1298250240的博客
01-19 2307
sigmoid函数求导： https://blog.youkuaiyun.com/u012421852/article/details/79614417 通过logistic曲线就可以知道 1）sigmoid函数是一个阀值函数，不管x取什么值，对应的sigmoid函数值总是0<sigmoid(x)<1。 2）sigmoid函数严格单调递增，而且其反函数也单调递增 3）sigmoid函数连续 4）...
logistic回归的损失函数（lost function）原理
01-06
logistic回归的损失函数和极大似然估计的关系 记 Φ(x)=11+e−θx \Phi(x)=\frac{1}{1+e^-{\theta x}} Φ(x)=1+e−θx1​ 我们可以把这个sigmoid函数的值看做y等于1的后验估计概率，也就是： p(y=1∣x)=Φ(x) p(y=1|x)=\Phi(x) p(y=1∣x)=Φ(x) 那么y=0的时候自然是补事件 p(y=0∣x)=1−Φ(x) p(y=0|x)=1-\Phi(x) p(y=0∣x)=1−Φ(x) 我们可以把这两个式子简化一下,得到 p(y∣x)=Φ(x)y(1−Φ(x))1−y p(y|x)=\Phi(x)^y(1-\P
LR损失函数推导
01-06
LR的推导 LR逻辑回归是一种监督学习分类算法，其实现了给定数据集到0,1的一种映射。 给定数据集D={(x1,y1),(x2,y2),…,(xm,ym)}，其中(xi,yi)表示第i个样本，其中，xi=(xi1,xi2,…,xin)，即每个数据有n个特征，类别y={0,1}，要求训练数据，将数据分成两类0或1。 假定xi的n个特征为线性关系，即：                                                    这里为了表示简洁，在数据样本xi添加一个特征x0=1，将b作为一维特征。则有：  以上实现了用样本xi的n个特征来表示样本的表达式，现在需要寻找
大白话5分钟带你走进人工智能-第十七节逻辑回归之交叉熵损失函数概念(2)
L先生AI课堂
04-29 1214
第十七节逻辑回归之交叉熵损失函数概念(2) 上一节中我们讲解了逻辑回归是做分类的原因，本节的话我们讲解逻辑回归的损失函数-交叉熵损失函数。逻辑回归，是要做分类的，最重要的是要去分界，这个逻辑回归它是怎么找分界？首先它有回归两个字，我们可以转成另外两个字，拟合。所以逻辑回归找...
机器学习数学原理专题——回归模型：损失函数推导
qq_58718853的博客
04-09 835
广义线性模型中回归模型的构建、损失函数的数学原理推导的整理笔记
逻辑回归（logistic regression）的原理及损失函数推导
qq_35752161的博客
04-19 3114
贝叶斯部分参考：https://blog.youkuaiyun.com/zengxiantao1994/article/details/72787849，感谢大佬 考虑二分类任务，标记输出y 属于{0，1}，而线性回归模型产生的预测值是实际值。于是，我们需将实值转换成0/1值。 Sigmoid函数可以很好的实现这一目标： ...
logistic回归详解(二）：损失函数（cost function）详解
热门推荐
bitcarmanlee的博客
04-15 15万+
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}\{(x^1,y^1),(x^2,y^2),\cdots,(x^m,y^m)\}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x_0, 则每个样本包含n+1维特征
Logistic Regression（逻辑回归）中的损失函数理解
Phoenix的博客
12-03 2779
问题：线性回归中，当我们有m个样本的时候，我们用的是损失函数是 J(θ)=1m∑i=1m12(hθ(x(i))−y(i))2 J_{(\theta)} = \frac{1}{m}\sum_{i=1}^m\frac{1}{2}(h_{\theta}(x^{(i)}) - y^{(i)})^2 J(θ)​=m1​i=1∑m​21​(hθ​(x(i))−y(i))2 但是，到了逻辑回归中，损失函数一下子...
江科大数据库课件：无损分解原理与推导规则详解
在关系模式R(U)中，如果对于任何关系r，当两个元组在属性集X上的值相同时，它们在属性集Y上的值也必须相同，即t1(X) = t2(X) => t1(Y) = t2(Y)，那么称属性X函数决定属性Y，简记为X→Y。 逻辑蕴含是另一个关键概念...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值