多元线性回归推导

最新推荐文章于 2025-03-10 10:16:53 发布

原创最新推荐文章于 2025-03-10 10:16:53 发布

· 1.7k 阅读

11 ·

版权

文章标签：

#线性回归 #机器学习

如果因变量 $Y$ 与自变量 $X_1, X_2, \cdots, X_p$ 之间满足如下关系：
$\beta_0 + \beta_1X_1 + \cdots + \beta_pX_p + \epsilon$
其中 $\beta_0, \beta_1, \cdots, \beta_p$ 为未知的常值参数， $\epsilon$ 为随机误差项，满足 $E(\epsilon) = 0, Var(\epsilon) = \sigma^2 > 0$ ，则称此模型为线性回归模型。

1、回归假设

多元线性回归有几个重要假设：误差项 $\epsilon$ 独立同分布，变量之间线性无关。用数学式子表示如下：

$E(\epsilon)=0$ ;
$Var(\epsilon)=\sigma^2 I$ ;
$x_1, x_2, \cdots, x_p$ 线性无关。

注意在实际应用中，变量之间常常会存在多重共线性，违背模型假设，影响模型结果。解决方法有很多，比如PCA降维等，最简单的莫过于画个相关分析热力图，然后保留相关性强的多个变量中的一个，其他删去即可。

2、参数估计

记符号如下：
$\begin{equation} Y = \left( \begin{array}{c} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{array} \right) , X = \left( \begin{array}{c} 1 & X_{11} & \cdots & X_{1p} \\ 1 & X_{21} & \cdots & X_{2p} \\ \vdots & \vdots & \quad & \vdots\\ 1 & X_{n1} & \cdots & X_{np} \\ \end{array} \right) , \beta = \left( \begin{array}{c} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{array} \right) , \epsilon = \left( \begin{array}{c} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_n \end{array} \right) \end{equation}$
则线性回归模型可以表示为：
$X\beta + \epsilon$
其中X为设计矩阵，并且假定是列满秩（变量之间线性无关）的，即 $r ank (X) = p + 1$ ，误差向量 $\epsilon$ 满足前文假设条件。

接下来用最小二乘法求解回归方程的参数向量 $\beta$ 。

$\beta$ 的最小二乘估计即确定 $\beta$ ，使得误差向量 $\epsilon = Y-X\beta$ 各元素的平方和达到最小，即
$Q(\beta) = \sum_{i=1}^{n} \epsilon^2 = \epsilon^T \epsilon = (Y-X\beta)^T(Y-X\beta) = Y^TY - 2\beta^TX^TY + \beta^TX^TX\beta.$
令 $\frac{\partial Q(\beta)}{\partial \beta} = -2X^TY + 2X^TX\beta = 0$ ，则有：
$X^TX\beta = X^TY.$
所以参数向量 $\beta$ 的最小二乘估计 $\hat{\beta} = (\hat{\beta}_0, \hat{\beta}_1, \cdots, \hat{\beta}_p)^T = (X^TX)^{-1}X^TY.$
线性回归模型为： $f(\hat{x_i}) = \hat{x_i}^T(X^TX)^{-1}X^TY.$