一文读懂逻辑回归(Logistic Regression)

最新推荐文章于 2025-10-23 16:48:23 发布

原创

最新推荐文章于 2025-10-23 16:48:23 发布 · 2.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #深度学习

逻辑回归是一种处理二分类问题的模型，通过sigmoid函数将线性回归的预测值转换为[0,1]区间内的概率。其优点在于直接对分类可能性建模，提供概率预测，并且损失函数设计成凸函数，确保优化过程中找到全局最优解。损失函数和成本函数在逻辑回归中扮演关键角色，使用梯度下降法进行参数优化。" 117861122,10538880,使用Tracking.js实现前端脸部识别,"['HTML5', '前端开发', '人脸识别', 'JavaScript库', 'Tracking.js']

逻辑回归其实是是一种广义的线性回归，虽然说是回归函数，但是它其实是处理分类问题，我们从其背景，损失函数两方面说清楚。

背景

参考周志华教授的《机器学习》和吴恩达大神的深度学习中的讲解，逻辑回归的起源是解决二分类问题，这里我们假设二分类中的类别是{0,1}，我们想知道给定一个样本X，这个样本属于1类的概率是多少？也就是要求得 $\hat{y}=p(y=1|X)$ 的值，而线性回归模型产生的预测值 $\hat{y}=w^TX+b$ 是实值，但是要想得到概率值，输出的值必须是在区间[0,1]内，所以想到的就是将线性回归模型产生的预测值通过变换使其在区间(0,1)内。

很明显sigmoid函数的值域在区间(0,1)内，如下图：

所以我们就得到： $\hat{y}=\frac{1}{1+e^{-(w^TX+b)}}$ ，这个就是逻辑回归函数的原型。这里的转换函数就是sigmoid函数，至于为什么选这个函数，首先这个函数的值域是在区间(0,1)内，还有一点很重要的是，这个函数连续可导。在机器学习和深度学习中，函数的选择包括各种激活函数都满足连续可导，这是因为在反向传播的时候，我们需要对误差函数进行求导，如果不可导的话，这个过程完全做不了。