25、逻辑回归：原理、应用与实例解析

逻辑回归：原理、应用与实例解析

1. 逻辑回归简介

逻辑回归是一种广受欢迎且强大的分类方法。与线性回归类似，它依赖于一个特定的模型，将预测变量与结果联系起来。用户需要指定要包含的预测变量及其形式（例如，是否包含交互项）。这意味着即使是小数据集也可用于构建逻辑回归分类器，而且一旦模型估计完成，对大量新记录进行分类的计算速度快且成本低。

逻辑回归将线性回归的思想扩展到结果变量 Y 为分类变量的情况。分类变量可将记录划分为不同的类别。例如，如果 Y 表示对股票持有、卖出或买入的建议，那么它就是一个具有三个类别的分类变量，数据集中的每只股票都可归为持有类、卖出类或买入类。

逻辑回归有两个主要用途：
- 分类 ：根据预测变量的值，将未知类别的新记录分类到某个类别中。
- 剖析 ：在已知类别的数据中，找出不同类别记录在预测变量方面的差异因素。

逻辑回归的应用场景广泛，例如：
1. 将客户分类为回头客或非回头客。
2. 找出区分男性和女性高管的因素。
3. 根据信用评分等信息预测贷款是否获批。

在本文中，我们主要关注逻辑回归在分类问题上的应用，且仅处理具有两个可能类别的二元结果变量。常见的二元结果示例包括成功/失败、是/否、购买/不购买、违约/不违约以及生存/死亡等。为方便起见，我们通常将二元结果变量 Y 的值编码为 0 和 1。

逻辑回归的步骤如下：
1. 第一步，估计每个类别的倾向或概率。在二元情况下，我们得到属于类别 1 的概率 p = P(Y = 1)，同时也能知道属于类别 0 的概率。
2