13、数据挖掘中的逻辑回归模型及相关技术

数据挖掘中的逻辑回归模型及相关技术

在数据挖掘领域，数据挖掘技术是建模者需要掌握的基本技能。这些技术易于理解、执行和解释，建模者若想掌控数据并把握分析结果，就应熟练掌握它们。

逻辑回归模型（LRM）

逻辑回归模型适用于处理二元因变量 $Y$，它通常有两个结果或类别，一般标记为 0 和 1。LRM 根据个体的预测变量（自变量）$X_1, X_2, \ldots, X_n$ 的值，将个体分类到其中一个类别。

LRM 估计 $Y$ 的对数几率（logit），即个体属于类别 1 的几率的对数。其定义如下：
[
\text{Logit } Y = b_0 + b_1 * X_1 + b_2 * X_2 + \ldots + b_n * X_n \quad (10.1)
]

通过一个简单的变换，可以将对数几率转换为个体属于类别 1 的概率 $\text{Prob}(Y = 1)$：
[
\text{Prob}(Y = 1) = \frac{\exp(\text{Logit } Y)}{1 + \exp(\text{Logit } Y)} \quad (10.2)
]

将个体的预测变量值代入公式 (10.1) 和 (10.2)，就能得到该个体属于类别 1 的估计（预测）概率。其中，$b$ 是逻辑回归系数，通过基于微积分的最大似然法确定。需要注意的是，与其他系数不同，$b_0$（称为截距）没有对应的预测变量 $X_0$。

示例

考虑数据集 A，它包含 10 个个体和 3 个变量，具体数据如下表所示：