逻辑回归的激活函数为什么取对数

最新推荐文章于 2025-05-10 13:46:46 发布
原创 最新推荐文章于 2025-05-10 13:46:46 发布 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

因为逻辑回归服从二项分布，我们需要选择一个对于这个分布最佳的连结函数。所以就选择了logit函数。

我们通过观测样本的极大似然估计值来选择参数（这就是和线性回归不同的地方，线性回归选择均方误差作为损失函数）

逻辑回归中的损失函数：交叉熵损失详解与推导
AI天才研究院
05-03 1031
逻辑回归（Logistic Regression）是机器学习中最基础的分类算法之一，广泛应用于二分类和多分类问题。其核心优势在于模型简单、可解释性强，且损失函数设计与概率理论深度契合。本文聚焦逻辑回归的核心组件——交叉熵损失函数交叉熵损失为何能有效衡量分类模型的预测误差？二分类与多分类场景下的损失函数形式有何联系与区别？如何通过极大似然估计推导出交叉熵损失的数学表达式？工程实践中如何高效实现交叉熵损失的计算与梯度求解？从信息论基础引入熵、KL散度、交叉熵的核心概念。
逻辑回归为什么要用sigmoid函数
算法岗从零到无穷
09-28 1456
这个问题我们要从普通线性模型与广义线性模型开始讲起，看官不要着急，慢慢的往下看。 普通线性模型与广义线性模型 普通线性模型是用模型的预测值去逼近真实标记y： Y=ω1x1+ω2x2+ω3x3+ω4x4+...+ωpxp+bY = \omega_{1}x_1 + \omega_{2}x_2 + \omega_{3}x_3 + \omega_{4}x_4 +... + \omega_{p}x_{p}+bY=ω1​x1​+ω2​x2​+ω3​x3​+ω4​x4​+...+ωp​xp​+b Y=ωTx+bY = \
【数据处理】为什么数据要取对数
weixin_30507481的博客
05-27 3170
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。2. 取对数后，可以...
回归分析什么时候取对数_真实世界数据分析(1): 为什么是回归方法
weixin_28937805的博客
12-23 4958
诸位，本公众号已经形成包括“样本量估计”、“医学研究进展”、“论文的统计表达方法”、“统计视频”(R、医学统计学)、“科研工具合集”等若干系列，有兴趣请点击学习。现在“如何分析真实世界研究数据”粉墨登场了！首篇篇幅较长，并且还是充满了统计的思维，如果要学习，需要耐心，本人写得不对或者让您不懂地方可以留言，请见谅！一、RCT和RWS的基本统计学方法随机对照试验(RCT)是临床研究常见的一种...
回归分析什么时候取对数_线性回归模型，哪些变量取对数形式？
weixin_39984105的博客
12-23 6079
并不是大的量和小的量放在一起大的就要对数，那我必然要问你，为什么不选择开N次方呢？或者把小的求阶乘(当然这种操作可能也不太“自然”)？事实上选择如何处理特征是要有一定的“具象”理由的，常见的两个原因有：一：在对变量和预测值做线性相关性分析以后发现不是线性关系。你可以简单的理解为，随便挑一个特征x_0，把y=f(x_0)画出图来一看，线是弯的，本来就不是直的。然后我们就可以根据数据来猜测甚至干脆试试...
Logistic regression 为什么用 sigmoid ？
aliceyangxi1987的博客
05-29 2758
假设我们有一个线性分类器： 我们要求得合适的 W ，使 0-1 loss 的期望值最小，即下面这个期望最小： 一对 x y 的 0-1 loss 为： 在数据集上的 0-1 loss 期望值为： 由 链式法则 将概率p变换如下： 为了最小化 R（h），只需要对每个 x 最小化它的 conditional risk： 由 0-1 loss 的定义，当 h（x）不...
机器学习——logistic回归（对数几率回归）
qq_40160983的博客
11-21 582
logistic回归   处理两分类问题 涉及模块：numpy，random     1.理论   logistic回归是将线性回归模型的预测值转变为分类的一个模型。 回归模型： 用sigmoid函数将z值转为分类标记： 令正例的概率为： 则： 因此，需要估计参数w和b，通过极大似然法进行估计： 取对数： 求最优解（梯度下降法）： &nbs...
浅谈Logistic回归及过拟合
weixin_34191734的博客
06-13 3071
　　判断学习速率是否合适？每步都下降即可。这篇先不整理吧... 　　这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学习算法一般是这样一个步骤： 　　1）对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题； 　　2）通过最大似然、最大后验概率或者最小化分类误差等等建立模型...
逻辑回归、激活函数sigmoid、损失及优化、案例代码实现
我的个人博客
12-23 2964
逻辑回归概念及原理，激活函数sigmoid函数，损失以及优化，逻辑回归API，sklearn.linear_model.LogisticRegression，良／恶性乳腺癌肿瘤分类预测案例代码实现
机器学习之逻辑回归（一）：逻辑回归的原理、模型、激活函数的使用、损失函数、优化方法（附手写案例）
汪雯琦的博客
02-27 4279
逻辑回归需要掌握的知识点 知道逻辑回归的损失函数 知道逻辑回归的优化方法 知道sigmoid函数 知道逻辑回归的应用场景 应用LogisticRegression实现逻辑回归预测 知道精确率、召回率指标的区别 知道如何解决样本不均衡情况下的评估 了解ROC曲线的意义说明AUC指标大小 应用classification_report实现精确率、召回率计算 应用roc_auc_score实现指标计...
从【为什么要用sigmoid函数】到真的懂【逻辑回归】
咔咔响
08-24 3609
1.逻辑回归是广义线性回归（GLM）的一种特殊形式2.GLM有三个要素构成：响应变量服从指数族分布，系统分量是预测变量x的线性模型，通过连接函数联系前两者2.逻辑回归建立在0-1分布上，...
年龄和收入对数的线性回归_Logistics回归——分析富士康的员工自杀
weixin_34496367的博客
01-06 1023
Logistics回归logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如...
神经网络激活函数对数函数_神经网络中的激活函数
weixin_26752765的博客
09-05 974
Activation function, as the name suggests, decides whether a neuron should be activated or not based on the addition of a bias with the weighted sum of inputs. Hence, it is a very significant componen...
为什么特征数据要做对数变换？
weixin_43589681的博客
05-10 1万+
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 取对数后，可以...
激活函数（sigmoid、Tanh、ReLu、softmax、softmin、LogSoftma）公式，作用，使用场景和python代码（包含示例）详解
2301_76901778的博客
05-10 1632
Softmin 激活函数是 Softmax 激活函数的一种变体，它同样将一组实数转换为概率分布，不过更倾向于突出较小的值。激活函数是一些非线性、可微分的函数。LogSoftmax 激活函数是对 Softmax 函数的输出取自然对数。输入值小于等于 0 时，输出 0。输出均值接近 0，有助于缓解梯度下降时的“偏移”问题。与负对数似然损失（NLLLoss）结合时，效率更高。对输入进行简单截断，将负值置为 0，正值保持不变。除以这个和，得到的结果都在0到1之间，且。将任意实数映射到 (0,1) 区间内。
深入理解 PyTorch 激活函数：从基础到高效实用技巧（3）
CDBmax的博客
01-16 2141
在数学上，这相当于取 Sigmoid 函数的输出并对其应用自然对数。对数 Sigmoid 函数平滑地将每个元素映射到负无穷大到零的区间，提供了一种平滑的方式来处理接近于0和1的极端值。如果，则保持x不变。如果，则将x设为 0。这种方法通过硬阈值将输入张量中绝对值较小的元素设置为零，而保持其它元素不变。这个公式表示每个元素的值减去其双曲正切值。函数的输出是输入值和其双曲正切的差值，这种设计在输入值较小（接近零）时，输出接近零，而在输入值较大时，输出趋于饱和。
回归模型中对数变换的含义
热门推荐
志浩同学的博客
06-23 1万+
1 精确解释 1.1 因变量采用对数变换 ln(y^)=β0+β1×xln(\hat y)=\beta_0 +\beta_1 \times xln(y^​)=β0​+β1​×x x→x+1;y^1→y^2x \to x+1; \hat y_1 \to \hat y_2x→x+1;y^​1​→y^​2​ {y^1=eβ0+β1×xy^2=eβ0+β1×(x+1) \begin{cases} \hat y_1=e^{\beta_0 +\beta_1 \times x}\\ \hat y_2=e^{\beta_0
逻辑回归(神经网络Sigmod激活函数，计量logit模型)
qq_43602667的博客
11-05 2185
逻辑回归、激活函数、计量经济学 ROC曲线表示真阳性与假阳性关系图，AUC取值在0~1之间,这里为0.9，综合说明模型泛化性能还是比较好的
激活函数（activation function)的种类与应用
weixin_60737527的博客
05-11 4490
激活函数在逻辑回归、感知机、神经网络系列模型中有着重要的作用，是神经网络最重要的组成成分之一。如果把神经网络模型比作一台机器，那么激活函数就起着类似信号处理器的作用，把输入的数据进行处理然后准备输出。 在一般的神经网络中，激活函数负责把上一层输出的数据（一般是向量或矩阵）计算后的结果进行处理，得到新的一组数（即新的输出），对应就是下面蓝色与红色之间的直箭头部分。 例如，对与上面的三层神经元（一般会把蓝色和红色合并成一个节点，这里兔兔为了展示方便，画成两个圆）。我们以中间层为例。中间的左半部分..
为什么Sigmoid函数适合用于逻辑回归模型？
最新发布
07-09
### 为什么Sigmoid函数是逻辑回归模型的理想选择？ 在逻辑回归模型中，Sigmoid函数被广泛采用作为输出层的激活函数，其适用性主要体现在以下几个方面： 1. **将线性输出映射到概率空间** Sigmoid函数的形式为 $\...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值