机器学习实战——5.logistic回归

最新推荐文章于 2024-04-29 10:45:50 发布

RF-or

最新推荐文章于 2024-04-29 10:45:50 发布

阅读量870

点赞数 2

分类专栏：机器学习实战读书笔记文章标签：机器学习 logistic回归

本文链接：https://blog.youkuaiyun.com/qq_36850381/article/details/99705603

版权

5.1 基于logistic回归和sigmoid函数的分类

5.2基于最优化方法的最佳回归系数确定

5.2.1 梯度上升法

5.2.2 训练算法：使用梯度上升法找到最佳参数

5.3.2 测试算法：用logistic回归进行分类

5.4 本章小结

假设现在有一些数据点，我们用一条直线对这些点进行拟合（改线称为最佳拟合直线），这个拟合过程就叫作回归。利用logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

logistic回归的一般过程

（1）收集数据：采用任意方法收集数据。

（2）准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。

（3）分析数据：采用任意方式对数据进行分析。

（4）训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。

（5）测试算法：一旦训练步骤完成，分类将会很快。

（6）使用算法：首先，需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，就可以在输出的类别上做一些其他分析工作。

5.1 基于logistic回归和sigmoid函数的分类

logistic回归

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适用数据类型：数值型和标称型数据。

我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0或1，该函数称为‘海维赛德阶跃函数（heaviside step function）’或直接称为单位阶跃函数。然而，海维赛德阶跃函数的问题在于：该函数在阶跃点上从0瞬间跳跃到1，这个瞬间跳跃过程有时很难处理。幸好，另一个函数也有类似的性质，且数学上更易处理，这就是sigmoid函数。sigmoid函数具体的计算公式如下：

$\sigma\left ( z \right )=\frac{1}{1+e^{-z}}$

下图给出了sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，sigmoid函数值为0.5.随着x的增大，对应的sigmoid值将逼近于1；而随着x的减小，sigmoid值将逼近于0.如果横坐标刻度足够大，sigmoid函数看起来很像一个阶跃函数：

两种坐标尺度下的sigmoid函数图。上图的横坐标是-6到6，这时的曲线变化较为平滑；下图横坐标尺度足够大，可以看到，在x=0点处sigmoid函数看起来很像阶跃函数。

因此，为了实现logistic回归分类器，可以在每个特征上都乘于一个回归系数，然后把所有的结果值相加，将这个总和带入sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分为1类，小于0.5即被归入0类。所以，logistic回归也可以被看成是一种概率估计。

确定了分类器的函数形式之后，现在的问题变成了：最佳回归系数是多少？如何确定它们的大小？

5.2基于最优化方法的最佳回归系数确定

sigmoid函数的输入记为z，由下面公式得出：

$z=w_{0}x_{0}+w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}$

如果采用向量的写法，上述公式可以写成 $\mathbf{z}=\mathbf{w}^{T}\mathbf{x}$ ，它表示将这两个数值向量对应元素相乘然后全部加起来即得到z值。其中的向量x是分类器的输入数据，向量w就是要找的最佳参数（系数），从而使得分类器尽可能地精确。为了寻找该最佳参数，需要用到最优化理论的一些知识。

5.2.1 梯度上升法

梯度上升法基于的思想是：要找到某函数的最大值，最好的方法就是沿着该函数的梯度方向探寻。如果梯度记为 $\bigtriangledown$ ，则函数f（x,y）的梯度由下式表示：

$\bigtriangledown f(x,y)=\begin{pmatrix} \frac{\partial f(x,y))}{\partial x}\\ \frac{\partial f(x,y))}{\partial y} \end{pmatrix}$

这是机器学习中最易造成混淆的一个地方，但在数学上并不难，需要做的只是牢记这些符号的意义。这个梯度意味着要沿x的方向移动 $\frac{\partial f(x,y))}{\partial x}$ ,沿y的方向移动 $\frac{\partial f(x,y))}{\partial y}$ 。其中，函数f(x,y)必须要在待计算的点上有定义并且可微。

最低0.47元/天解锁文章