logistic回归分类

最新推荐文章于 2024-05-13 16:59:19 发布

臻舍

最新推荐文章于 2024-05-13 16:59:19 发布

阅读量792

点赞数

分类专栏：机器学习文章标签：机器学习朴素贝叶斯

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/xtnc1028/article/details/46461889

版权

机器学习专栏收录该内容

5 篇文章

订阅专栏

本文深入探讨了Logistic回归的数学模型和物理含义，介绍了如何通过梯度上升法优化预测函数，并对比了全梯度上升与随机梯度上升的区别。最后，文章还扩展到了多分类问题，提到了Softmax回归的概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、logisitic分类原理

看了斯坦福的课程，外加几篇博客

http://blog.youkuaiyun.com/wenyusuran/article/details/25824011

http://blog.youkuaiyun.com/lujiandong1/article/details/42638965

http://www.cnblogs.com/daniel-D/archive/2013/05/30/3109276.html

总结笔记为以下内容

1.数学模型------logistic函数

$g(z)=\frac{1}{1+e^{-z}}$

2.物理含义及相关推导

1）给出特征向量x，对其所属分类y进行预测，y=0,1（二分类问题）

x共有m个分量，即共有m个特征 $x =[x _{1},x _{2},...,x _{m}]^{T}$ ，每个特征对应的权重（即回归系数）为 $\Theta =[\Theta _{1},\Theta _{2},...,\Theta _{m}]^{T}$

构造预测函数：

为了使似然性最大，使用梯度上升法：

$\Theta_{j}:=\Theta_{j} +\alpha \frac{\partial l(\Theta )}{\Theta _{j}}$

$\frac{\partial l(\Theta )}{\partial \Theta _{j}}=\sum_{i=1}^{m}(y^{(i)}-h_{\Theta }(x^{i}))x^{(i)}$

梯度上升算法的伪代码如下：

################################################

初始化回归系数为1

重复下面步骤直到收敛{

计算整个数据集的梯度

使用alpha x gradient来更新回归系数

}

返回回归系数值

################################################

logistic回归就是一个被logistic方程归一化后的线性回归

3.优化

1）每次迭代都要计算整个数据集

改进------随机梯度上升法

################################################

初始化回归系数为1

重复下面步骤直到收敛{

对随机遍历的数据集中的每个样本

随着迭代的逐渐进行，减小alpha的值

计算该样本的梯度

使用alpha x gradient来更新回归系数

}

返回回归系数值

################################################

2）过拟合问题----正则化

3.logistic的推广------Softmax regression（多分类）

http://deeplearning.stanford.edu/wiki/index.php/Softmax回归

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。