逻辑回归(Logistic Regression)

逻辑回归是互联网领域应用广泛的自动分类算法,假设数据服从伯努利分布,通过极大化似然函数、运用梯度下降求解参数实现二分类。介绍了线性回归、假设函数、求解方法,如梯度下降法等,还提及L1和L2正则化,分析了其优缺点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

逻辑回归可以说是互联网领域应用最广的自动分类算法:从单机运行的垃圾邮件自动识别程序到需要成百上千台机器支撑的互联网广告投放系统,其算法主干都是LR。

一句话概括逻辑回归:

逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。

线性回归

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二分类问题

y ∈ 0 , 1 y\in{0, 1} y0,1
如果在线性模型上直接做分类。最直观的,可以将线性模型的输出值再套上一个函数,最简单的就是“单位阶跃函数”。

但是这个函数在x=0处不可导,所以我们找到了Logistics函数
y = 1 1 + e − z y=\frac{1}{1+e^{-z}} y=1+ez1
在这里插入图片描述

假设函数

h θ ( x ) = g ( θ T x ) = 1 1 + e − θ T x h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}} hθ(x)=g(θTx)=1+eθTx1
l n h θ ( x ) 1 − h θ ( x ) = θ T x ln\frac{h_\theta(x)}{1-h_\theta(x)}=\theta^Tx ln1hθ(x)hθ(x)=θTx

P ( y = 1 ∣ x ; θ ) = h θ ( x ) P ( y = 0 ∣ x ; θ ) = 1 − h θ ( x ) P(y=1|x;\theta)=h_\theta(x) \\ P(y=0|x;\theta)=1-h_\theta(x) P(y=1x;θ)=hθ(x)P(y=0x;θ)=1hθ(x)
损失函数

综合起来表示概率
在这里插入图片描述

似然函数为
在这里插入图片描述

对数似然函数为
在这里插入图片描述

损失函数如下
在这里插入图片描述

求解方法:梯度下降法、牛顿法、拟牛顿法

梯度下降法

在这里插入图片描述

三种梯度下降

  • 批量梯度下降 全局最优,计算量大,训练过程慢
  • 随机梯度下降 训练速度快,局部最优
  • 小批量梯度下降 减少了参数更新的次数,可以达到更加稳定收敛结果

L1和L2正则化

过拟合:对训练数据拟合好,而在测试数据上表现差,泛化能力差。
在这里插入图片描述
正则化就是在原来的损失函数上加入一个惩罚项。

L1正则化,有助于生成一个稀疏权值矩阵,进而可以用于特征选择。
f ( θ ) = J ( θ ) + λ ∣ ∣ θ ∣ ∣ 1 f(\theta)=J(\theta) + \lambda||\theta||_1 f(θ)=J(θ)+λθ1

L2正则化,拟合过程中通常都倾向于让权值尽可能小,最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单,能适应不同的数据集,也在一定程度上避免了过拟合现象。
f ( θ ) = J ( θ ) + λ 2 ∣ ∣ θ ∣ ∣ 2 2 f(\theta)=J(\theta)+\frac{\lambda} {2}||\theta||^2_2 f(θ)=J(θ)+2λθ22

优点
  • 形式简单,模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响。
  • 模型效果不错。在工程上是可以接受的(作为baseline),如果特征工程做的好,效果不会太差。
  • 训练速度较快。分类的时候,计算量仅仅只和特征的数目相关。
缺点
  • 准确率并不是很高。因为形式非常的简单(非常类似线性模型),很难去拟合数据的真实分布。
  • 很难处理类别不平衡的问题。比如正负样本比 10000:1.我们把所有样本都预测为正也能使损失函数的值比较小。
  • 只能处理线性可分二分类的问题。

关于逻辑回归更深入的理解,参考
逻辑回归:从入门到精通

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值