logistic回归|梯度下降|牛顿法总结

这篇博客介绍了logistic回归模型及其优化方法,包括梯度下降法(批量和随机)与牛顿法。文章详细阐述了logistic函数在分类中的作用,以及梯度下降法的优化原理,提到了随机梯度下降法在处理大量数据时的优势,并对比了牛顿法的快速收敛特性。此外,还讨论了拟牛顿法在解决高维问题中的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.logistic回归模型

logistic回归是用线性模型解决分类问题的算法
考虑现在有一个样本集合,样本特征有两维,要用一条直线作为这两类的分界线,如下图所示
这里写图片描述

也就是说logistic算法就是要找到这么一条直线,使得可以对样本进行分类。但是由于是分类问题,所以我们使用方差来度量模型就不合适了,这也正是logistic算法解决的问题。

在这里,我们需要一个函数,可以将线性模型的预测值转换成0/1值,最理想的函数是单位阶跃函数,即
y=0,z<0
y=0.5,z=0
y=1,z>0
即预测值z大于零就判正例,小于零就判反例,等于临界值零则任意判别。

但是这个函数具有不连续不可微等不好的性质,所以我们选择了logistic函数作为单位阶跃函数的替代函数

y=11+ez
直观的来看,logistic函数在z=0附近变化很快,当z很大时,函数变化的很慢。
z=wTx 带入上式
然后可以发现 lny1y=wTx
将y视为x作为正例的可能性,也就是说logistic回归实际上是在用线性模型的预测结果去逼近正例的可能性与反例的可能性的比值的对数

所以可以用极大似然法来估计 w b ,
l(w,b)=mi=1ln p(yi|

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值