5、逻辑回归推理与分类协变量分析

逻辑回归推理与分类协变量分析

1. 逻辑回归模型的推理原则

1.1 最大似然原理

在逻辑回归模型中，最大似然（ML）原理是估计回归参数的重要原则。逻辑回归模型将观察到 $Y = 1$ 的概率描述为协变量值和回归参数的函数：
[
\pi(x_1,x_2, \cdots, x_p) = \text{logit}^{-1}(\beta_0 +\beta_1x_1 +\beta_2x_2 + \cdots +\beta_px_p)
]
当观察到 $Y_i = y_i$ 时，对于每个单元 $i$，其似然为：
[
L_i =
\begin{cases}
\pi(x_{i1},x_{i2}, \cdots, x_{ip}) & \text{if } y_i = 1 \
1 - \pi(x_{i1},x_{i2}, \cdots, x_{ip}) & \text{if } y_i = 0
\end{cases}
]
若假设所有观测值相互独立，那么整体似然为：
[
L(\beta_0,\beta_1, \cdots, \beta_p) = L_1(\beta_0,\beta_1, \cdots, \beta_p) \times L_2(\beta_0,\beta_1, \cdots, \beta_p) \times \cdots \times L_n(\beta_0,\beta_1, \cdots, \beta_p)
]
最大似然估计就是使整体似然达到最大的回归参数值 $\hat{\beta}_0, \hat{\beta}_1, \cdot