25、线性回归模型深入解析

线性回归模型深入解析

1. 普通最小二乘法（OLS）求解

在假设矩阵 (X) 具有满列秩（这意味着 (X^T X) 是正定的）的情况下，式 11.27 的普通最小二乘法（OLS）解可以通过解析方法计算。模型参数的估计公式为：
(\hat{\beta}_{OLS} = (X^T X)^{-1}X^T y)（式 11.28）
若 (X) 不具有满列秩，则解无法唯一确定。

2. 系数必要性检验

与简单线性回归中对系数必要性的检验类似，对于多元线性回归模型，也需要对系数进行评估。不过，在多元线性回归中，检验的内容如下：
- 原假设 (H_0)：(\beta_1 = \beta_2 = \cdots = \beta_p = 0)
- 备择假设 (H_1)：至少有一个 (\beta_j \neq 0)

使用 (F) 统计量作为检验得分，其计算公式为：
(F = \frac{(TSS - RSS)/p}{RSS/(n - p - 1)})（式 11.29）

3. 拟合质量评估

在简单线性回归模型中定义的决定系数，在多元线性回归模型中需要进行调整，以考虑模型中的参数数量。调整后的衡量指标称为调整 (R^2)，其计算公式为：
(R_{adj}^2 = 1 - \frac{RSS/(n - p - 1)}{TSS/(n - 1)})（式 11.30）

4. 线性模型诊断

为了拟合线性模型，我们做出了一些理论假设，例如关于误差和模型本身的假设。以下是模型诊断中重要的几个方面：
1. 误差假设