27、逻辑回归模型的数学原理及相关计算方法

逻辑回归模型的数学原理及相关计算方法

1. 最小二乘法原理与最大似然原理

1.1 似然函数与对数似然函数

似然是指观察到已观察结果的概率。对于连续随机变量 (Y)，其在观察值 (y) 处的概率可由 (Y) 的分布密度值确定。给定协变量值 (x_1,x_2, \cdots, x_p)，假设 (Y) 服从均值为 (\mu(x_1,x_2, \cdots, x_p) = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_px_p) 且条件方差为 (\sigma^2_e) 的正态分布，则其密度函数为：
[f_{Y|X_1=x_1,X_2=x_2,\cdots,X_p=x_p}(y) = \frac{1}{\sqrt{2\pi\sigma^2_e}}e^{-\frac{1}{2}\frac{(y - (\beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_px_p))^2}{\sigma^2_e}}]
观察值 (y_i) 的似然函数为：
[L_i(\beta_0,\beta_1, \cdots, \beta_p,\sigma^2_e) = \frac{1}{\sqrt{2\pi\sigma^2_e}}e^{-\frac{1}{2}\frac{(y_i - (\hat{\beta} 0 + \hat{\beta}_1x {i1} + \hat{\beta} 2x {i2} + \cdots + \hat{\beta} px {ip}))^2}{\sigma^2_e}}]
对数似然函数为：
[l_