这篇博客详细介绍了逻辑回归算法，包括sigmoid函数的作用、梯度上升法的原理及其在逻辑回归中的应用。博主通过基础代码展示了如何实现回归梯度上升优化算法，并通过实例解释了如何使用该算法预测病马的死亡率。最后，讨论了数据预处理和错误率计算的重要性。
目录
逻辑回归算法
用直线拟合的过程称为回归。根据现有数据对分类边界线建立回归公式，以此进行分类的过程即逻辑回归过程。
优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型
一般过程：
1.收集数据
2.准备数据：需要距离计算，因此要求数据类型为数值型，结构化数据格式则最佳。
3.分析数据：任意方法
4.训练算法：大部分时间用于训练，训练的目的是为了找到最佳的分类回归系数
5.测试算法：一旦训练完成，分类将会很快
6.使用算法：首先，需要将数据转换为对应的结构化数值，然后基于训练好的回归系数对这些数值进行简单的回归计算，判定它们属于哪个类别，最后做其他分析工作
sigmoid函数
逻辑回归首先将数据性质转换为0-1的函数，一般用到的是sigmoid函数：
Sigmoid函数的图像：
Sigmoid函数连续，光滑，严格单调，是一个非常良好的阈值函数，因此是二分类的概率常用的函数。当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1；x=0时，y=0.5。一般来说，在x=6,-6前后，y值不再发生变化。
梯度上升法
梯度上升法基于的思想是:要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为V，则函数f (x,y)的梯度由下式表示:
这个梯度意味着要沿x的方向
移动 沿y的方向移动 
。其中，函数f(x,y)必须要在待计算的点上有定义并且可微。一个具体的函数例子见图5-2。
图5-2中的梯度上升算法沿梯度方向移动了一步。可以看到，梯度算子总是指向函数值增长最快的方向。这里所说的是移动方向，而未提到移动量的大小。该量值称为步长，记做alpha。用向量来表示的话,梯度算法的迭代公式如下:
最低0.47元/天 解锁文章
扫一扫
950
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
