机器学习-逻辑回归

原创已于 2022-07-27 01:47:32 修改 · 496 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #逻辑回归 #python

于 2022-07-25 22:41:20 首次发布

这篇博客介绍了逻辑回归在分类问题中的应用，特别是在二维坐标系中如何通过一条直线区分两类样本。逻辑回归采用非线性的sigmoid函数处理输出，以更好地适应[0,1]区间内的标签值。文章详细阐述了损失函数的构建，并通过梯度下降法求解参数。虽然损失函数的结构与线性回归类似，但由于sigmoid函数的影响，求导过程有所不同。最后，作者提到梯度下降的代码实现将在后续更新中提供。

假设数据集由以下两部分组成
在这里插入图片描述
其中m为样本个数，n为特征数，x0=1（人为添加）。
y代表分类标签，即为0时为一类，为1时为另一类。为了方便描述，假设此时n为2，其2维坐标图如下：

圆形代表y = 0, 三角形代表y = 1。逻辑回归的作用就是找到一根线把圆形和三角形分开，以便我们预测当新的样本输入时，该样本是三角形还是圆形，如下图。
在这里插入图片描述
四角形处代表为新样本，用四角星只是为了与三角形和圆形区分开。

逻辑回归

因为训练样本的y值的区间范围是[0,1],如果按线性回归的方法来假设训练样本线性拟合，其效果并不好，所以逻辑回归的损失函数如下：
在这里插入图片描述
当有了损失函数，便可通过使用梯度下降来使损失函数最小求得相应的参数值，而梯度下降的关键是参数值同时更新以及损失函数关于每一个参数的偏导，损失函数关于每一个参数的偏导推导如下：
先将损失函数展开
在这里插入图片描述
对上式求偏导得

会发现，其与线性回归中偏导结构一致，不过虽结构一致，但因h(x)的不同，运算过程也有所不同。在偏导求得以后，其梯度下降过程依旧与线性回归中的步骤一致，只是函数不同。