【机器学习实战-python3】Logistic回归

最新推荐文章于 2024-08-09 20:58:04 发布

修行的猫_zq

最新推荐文章于 2024-08-09 20:58:04 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/sinat_17196995/article/details/57418519

本文介绍了使用Python3实现Logistic回归的详细步骤，包括数据预处理、梯度上升优化方法和实际应用。通过实例展示了决策边界绘制、随机梯度上升优化及其改进，并探讨了处理数据缺失值的方法。实验结果显示，平均错误率约30%，但需进一步调整优化算法以实现收敛。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

工具：PythonCharm 书中的代码是python2的，而我用的python3，结合实践过程，这里会标注实践时遇到的问题和针对python3的修改。
实践代码和训练测试数据可以参考这里
https://github.com/stonycat/ML-in-Action
注释：本篇代码注释部分改为英文，后期我有用英文写blog的想法，慢慢练习。
假设现在有一些数据点，我们用一条直线对这些点进行拟合（该直线成为最佳拟合直线），这个拟合的过程就成为回归。回归一词来源于最佳拟合，表示找到最佳拟合的参数集，训练分类器就是为了找到最佳拟合参数，使用最优化方法，训练的一个二值型分类器。
Logistic回归过程：
输入数据，转化为结构化的数据，采用任意方法分析数据，训练出最好的回归系数，对数据进行计算，判断分类。
为了实现Logistic回归分类器，我们需要在每个特征上乘一个回归系数，然后将所有结果相加，将总和代入Sigmoid中，得到一个0——1的数值，大于0.5的分入1类，小于的分入0类。
$z=w1\cdot x1+w2\cdot x2+………=w^{T}\cdot x$
其中w就是我们需要寻找的各个特征对应的最佳系数，需要用到最优化的理论知识。下面介绍梯度上升的最优化方法：
∇f(x,y)= (