8、从线性回归到逻辑回归：原理、应用与评估

从线性回归到逻辑回归：原理、应用与评估

1. 线性回归回顾与逻辑回归引入

在之前的学习中，我们探讨了简单线性回归、多元线性回归和多项式线性回归。这些模型都是广义线性模型的特殊情况，广义线性模型是一个灵活的框架，相比普通线性回归，它所需的假设更少。

普通线性回归假设响应变量呈正态分布。正态分布（也称为高斯分布）描述了一个观测值在任意两个实数之间取值的概率。正态分布的数据是对称的，一半的值大于均值，一半的值小于均值，且均值、中位数和众数相等。然而，在某些问题中，响应变量并不呈正态分布，例如抛硬币的结果（正面或反面），这种情况可以用伯努利分布来描述。

逻辑回归与之前讨论的回归模型不同，它用于分类任务。分类任务的目标是找到一个函数，将观测值映射到其关联的类别或标签。在二元分类中，分类器需要将实例分配到两个类别之一；在多类分类中，需要为每个实例分配多个标签中的一个；在多标签分类中，则要为每个实例分配标签的一个子集。

2. 逻辑回归的二元分类原理

在逻辑回归中，响应变量描述了结果为正例的概率。如果响应变量等于或超过一个判别阈值，则预测为正类；否则，预测为负类。响应变量通过逻辑函数建模为特征的线性组合。逻辑函数的公式如下：

[ F(x) = \frac{1}{1 + e^{-t}} ]

其中，$e$ 是欧拉数，约为 2.718。逻辑函数的值始终在 0 到 1 之间。对于逻辑回归，$t$ 等于解释变量的线性组合：

[ t = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_nx_n ]

逻辑函数的反函数是对数几率函数，它