Logistic Regression为什么使用sigmoid

最新推荐文章于 2020-12-09 10:16:48 发布
原创 最新推荐文章于 2020-12-09 10:16:48 发布 · 1.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了Logistic Regression为何选择sigmoid函数，从广义线性模型和最大熵理论角度进行解释，并讨论sigmoid函数的优缺点，如连续、单调递增和容易导致梯度消失的问题。同时指出，使用其他函数将不再被称为Logistic Regression。

今天看到一个面试题，问的是为什么Logistic Regression使用sigmoid函数？有什么优点和缺点？为什么不使用其他函数，搜了一天，终于理清了一些头绪。

1、 为什么使用sigmoid函数？
 

发现了一篇文章，写得特别好。从广义现行模型和最大熵的角度分别解释了为什么会有sigmoid函数。

原文 https://blog.youkuaiyun.com/baidu_15238925/article/details/81291247

想深入了解 Logistic 模型，务必要了解广义线性模型。

参考资料：
1、http://cs229.stanford.edu/notes/cs229-notes1.pdf

摘自知乎https://www.zhihu.com/

最低0.47元/天 解锁文章
Logistic regression 为什么用 sigmoid ？
aliceyangxi1987的博客
05-29 2759
假设我们有一个线性分类器： 我们要求得合适的 W ，使 0-1 loss 的期望值最小，即下面这个期望最小： 一对 x y 的 0-1 loss 为： 在数据集上的 0-1 loss 期望值为： 由 链式法则 将概率p变换如下： 为了最小化 R（h），只需要对每个 x 最小化它的 conditional risk： 由 0-1 loss 的定义，当 h（x）不...
logistic regression.zip
10-06
3. **模型构建**：使用Scikit-learn的`LogisticRegression`类创建模型，并设置相应的参数，如正则化强度（C）、优化算法（liblinear、newton-cg等）。 4. **模型训练**：使用训练数据拟合模型，调用`fit`方法。 5. *...
Logistic Regression 之 Sigmoid
asdasdasdasasd1111的博客
10-16 1491
逻辑回归（Logistic Regression, LR）模型也是一个二分类模型，属于广义线性模型，它还有个名字叫做二项逻辑斯蒂(谛)回归（不知为什么加个斯蒂(谛)），虽然叫XX回归，但却不属于回归模型。
解释logistic回归为什么要使用sigmoid函数
haozhepeng的专栏
12-28 1084
转 https://blog.youkuaiyun.com/qq_19645269/article/details/79551576  
逻辑回归为什么用sigmoid函数
weixin_30609331的博客
11-08 703
Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。 因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。 转载于:https://www.cnblogs.com/ConnorShip/p/9929663.html...
logistic回归为什么采用sigmoid函数——从广义线性函数推导
zhy_is_pig的博客
09-11 2242
目录Logistic回归基本形式为什么采用sigmoid函数？广义线性模型 Logistic回归基本形式 为什么采用sigmoid函数？ 广义线性模型
LogisticRegression:逻辑斯谛回归（Logistic Regression）的python实现，使用牛顿法
06-26
Scikit-Learn是机器学习的一个强大库，其中的`sklearn.linear_model.LogisticRegression`提供了逻辑斯谛回归的实现。NumPy则提供了进行数值计算的基础工具。 **牛顿法** 牛顿法是一种优化算法，用于求解函数的极值...
60. Logistic Regression 为什么用极大似然函数 - aliceyangxi1987的博客 - 优快云博客
08-03
Logistic Regression是一种广泛应用的二分类模型，它通过拟合数据并使用Sigmoid函数来预测一个事件发生的概率。Sigmoid函数的输出范围在0到1之间，非常适合表示概率。Logistic Regression的目标函数通常采用极大似然...
Logistic Regression with matlab
02-19
在本项目中，使用MATLAB进行Logistic Regression的实现，最终模型达到了96%的准确率，这表明模型对数据的拟合效果较好。 **二、MATLAB 自带数据库** MATLAB提供了许多内置的数据库和数据集，便于用户进行机器学习和...
为什么logistic回归的要用sigmoid函数？优缺点？
MyNotes
03-21 4415
优点： 1.数据压缩能力，将数据规约在［0，1］之间 2.导数形式优秀，方便计算 缺点： 1.容易梯度消失，x稍大的情况下就趋近一条水平线 2.非0中心化，在神经网络算法等情况下，造成反向传播时权重的全正全负的情况。 为什么要用？ 答案1:logistic是基于Bernoulli分布的假设，也就是y|X~Bernoulli分布，而Bernoulli分布的指数族的形式就是1/(1+exp(-z)) ...
机器学习之Logistic回归激活函数为什么是Sigmoid？
woshicao11的博客
08-06 7865
第一次听到这个问题，大概大脑停顿了片刻，这是个问题吗？因为sigmoid值在0-1之间符合概率分布，处处可导，关键是在0附近变化很快...这些都只是sigmoid的优点。为什么LR不用别的也具有这些优点的激活函数呢？这是数学公式推导出来的——最大熵模型！ 证明Logistic回归激活函数为什么是Sigmoid？假设我们已经证明： 最大熵模型中，条件概率   其中，wi是参数，f为特征函数(...
回归问题-Logistic回归&Logistic回归中为什么是sigmoid函数
越努力 越幸运
07-20 889
Logistic回归 为什么要用sigmoid函数？ Logistic模型参数求解 参考文献 Logistic回归 Logistic回归为概率型非线性回归模型，是研究观察结果与一些影响因素之间关系的一种多变量分析方法。 虽然名字中带有“回归”二字，但是它是一种常见的分类问题的方法。 设条件慨率为根据某自变量相对于某事件发生的概率。 Logistic回归模型为： ...
为什么逻辑回归 模型要使用 sigmoid 函数
05-18 4584
为什么逻辑回归模型要使用 sigmoid 函数？1.广义模型推导所得2.满足统计的最大熵模型3.性质优秀，方便使用（Sigmoid函数是平滑的，而且任意阶可导，一阶二阶导数可以直接由函数值得到不用进行求导，这在实现中很实用）...
逻辑回归python sigmoid(z)_逻辑回归( Logistic Regression)的Python源码的实现
weixin_39585617的博客
12-09 277
1. 前言本文主要讲解逻辑回归的代码的实现，逻辑回归的原理讲解大家可以去coursera上面看吴恩达的机器学习课程的第三周的课程，里面讲解的比较详细，适合入门的学者。b站上面也有该课程的视频，逻辑回归的内容在视频33-视频39以下为该课程网上的相关笔记:2. 源码讲解下面开始源码的讲解2.1 __init__()def __init__(self, learning_rate=.1, n_iter...
为什么logistic regression要使用sigmoid函数
Baoli1008的专栏
03-23 7915
转自：JUN’S TECH BLOG http://leijun00.github.io/2014/08/logistic-regression/我们知道,线性回归模型输出的是一个连续值,如果我们要输出的不是连续值,该怎么做呢?假设我们的输出只有 1 和 -1. 逻辑回归模型形式上是把线性回归模型做一个变换,让其输出是一个 0 到 1 之间的数,假设我们的变换叫做 g(z)g(z),然后在变换后
LR（逻辑回归） 为什么使用sigmoid函数
北冥有小鱼
07-30 4660
上图为sigmoid函数的形式 选择sigmoid 的原因想从两方面来说： 1、 Sigmoid 函数自身的性质 sigmoid 函数连续，单调递增 sigmiod 函数关于（0，0.5） 中心对称 对sigmoid函数求导 计算sigmoid函数的导数非常的快速 即sigmoid是伯努利分布的指数族形式...
机器学习之逻辑回归(logistics regression)
热门推荐
KI的博客
06-27 10万+
逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此逻辑回归与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。...
Logistic Regression原理推导
To_be_thinking的博客
08-08 1276
1.sigmoid函数                                                                                  这个函数图像如下：                                                                     这个函数能将实数域映射到(0,1),并且可导，导...
Sigmoid函数的作用
weixin_40489988的博客
07-28 1万+
Sigmoid函数的公式是这样的 公式： 这个公式为什么会用于机器学习中，因为它可以很好的表示机器学习中的预测问题，对于一个预测问题我们想要得到一个0或1的答案，但是很多输出的数据结果并不是0或1，也许会是0.7，我们用这个函数曲线来进行预测，将输入数据代入到sigmoid函数中，得到一个在这个光滑曲线上的某个点，若该点大于0.5，认为事件的概率为1，小于，则为0。 在实际的机器学习中，我们定义一...
掌握Logistic Regression模型中的参数theta
文件标题“logisticRegression_logisticregression_glmfit.m_matlab_”指的是一个使用MATLAB编写的脚本文件，文件名中包含了“logisticRegression”、“logisticregression”和“glmfit.m”等关键词。其中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值