为什么logistic回归的要用sigmoid函数?优缺点?

优点:
1.数据压缩能力,将数据规约在[0,1]之间
2.导数形式优秀,方便计算
缺点:
1.容易梯度消失,x稍大的情况下就趋近一条水平线
2.非0中心化,在神经网络算法等情况下,造成反向传播时权重的全正全负的情况。

为什么要用?
答案1:logistic是基于Bernoulli分布的假设,也就是y|X~Bernoulli分布,而Bernoulli分布的指数族的形式就是1/(1+exp(-z))
答案2:
对于logistic多分类而言,
x1、x2、…、xn,属于k类的概率正比于:ewk1x1+wk2x2+...+wk1xne^{w_{k1}x_1+w_{k2}x_2+...+w_{k1}x_n}ewk1x1+wk2x2+...+wk1xn
如二分类:
x1、x2、…、xn,属于1的概率:
ew11x1+wk12x2+...+w1nxnew11x1+wk12x2+...+w1nxn+ew01x1+wk02x2+...+w0nxn\frac{e^{w_{11}x_1+w_{k12}x_2+...+w_{1n}x_n}}{e^{w_{11}x_1+w_{k12}x_2+...+w_{1n}x_n}+e^{w_{01}x_1+w_{k02}x_2+...+w_{0n}x_n}}ew11x1+wk12x2+...+w1nxn+ew01x1+wk02x2+...+w0nxnew11x1+wk12x2+...+w1nxn

1. Sigmoid函数(也称为logistic函数)的优缺点: 优点: - Sigmoid函数能够将输入值压缩到0和1之间,这使得它非常适合用于二元分类问题; - 它是可微分的,这使得它易于使用梯度下降算法进行优化。 缺点: - Sigmoid函数在输入值非常大或非常小的时候,梯度会变得非常小。这种现象称为梯度消失,它会导致神经网络训练过程变得非常缓慢; - Sigmoid函数的输出不是以0为中心的,这可能会导致神经网络在训练过程中出现偏移的问题。 2. Tanh函数优缺点: 优点: - Tanh函数可以将输入值压缩到-1和1之间,这使得它非常适合用于回归问题; - 与Sigmoid函数不同,Tanh函数的输出是以0为中心的,这可以帮助解决神经网络中的偏移问题。 缺点: - 与Sigmoid函数一样,Tanh函数也容易出现梯度消失的问题; - Tanh函数的计算代价比Sigmoid函数高,因为它需要进行指数运算。 3. ReLU函数(也称为整流线性单元)的优缺点: 优点: - ReLU函数计算简单,只需要取输入值和0的最大值即可; - ReLU函数在输入值大于0的时候梯度为常数,这避免了梯度消失的问题; - ReLU函数的收敛速度比Sigmoid和Tanh函数快。 缺点: - 当输入值小于0的时候,ReLU函数的输出为0,这称为死亡ReLU问题。这会导致一些神经元在训练过程中永远不会被激活,从而影响整个网络的性能; - ReLU函数不是可微分的,这使得它不能直接使用梯度下降算法进行优化。但是,可以使用近似的梯度来解决这个问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值