探究Logistic回归：用数学解释分类问题

---

前言

当谈论当论及机器学习中的回归和分类问题时，很容易被“Logistic回归”中的“回归”一词所误导。尽管Logistic回归中有"回归"二字，但它实际上是一种用于分类问题的算法，而不是回归问题。在这篇博客中，我们将深入研究Logistic回归，讨论其背后的原理以及如何手动实现它。

---

回归和分类

在机器学习领域，回归（Regression） 和 分类（Classification） 是两种主要的预测问题类型。回归和分类都属于监督学习，但它们解决的问题不同。

• 回归问题： 旨在预测一个连续值，例如房屋价格、股票价格、销售额等。
• 分类问题： 关注对数据进行离散类别的预测，将数据分为不同的类别，比如预测一封电子邮件是否为垃圾邮件等。

左回归，右分类

不要被Logistic回归的名字所欺骗，Logistic回归虽然带有 “回归” 二字，但实质上是一种用于二分类的算法。

Logistic回归

Logistic回归是一种基于概率的线性分类算法，尤其适用于解决二分类问题。

与线性回归不同，它通过将线性函数的输出映射到一个介于0和1之间的概率来实现分类。就这样把连续的预测值转换为概率输出的形式，这个概率可以表示为样本属于某个类别的概率。

在Logistic回归中，我们使用一个称为Sigmoid函数的特殊函数，他叫Logistic（逻辑）函数，也叫激活函数。

简单来说：Logistic回归 = 线性回归 + Sigmoid函数

线性回归

首先，让我们回顾一下线性回归。

线性回归是一种用于建模自变量（输入特征）与因变量（输出）之间线性关系的模型。

线性回归的目标是找到一条直线（或超平面），最大程度地拟合输入数据。其数学表达式为：

$$Y={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\dots +{\beta }_n{X}_n+ϵ$$

其中，$Y$ 是预测值，${\beta }_0$ 是截距，${\beta }_1,{\beta }_2,\dots ,{\beta }_n$ 是权重，$X_1,X_2,\dots ,X_n$ 是特征，$ϵ$ 是误差。

线性模型可以表示为：

h ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ n x n h(x) = \theta_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_n h(x)=θ0​+θ1​x1​+θ2​x