26、回归分析：原理、方法与模型评估

回归分析：原理、方法与模型评估

1. 多元回归基础

在简单线性回归中，我们使用直线方程来预测结果变量 $Y$，通过最小二乘法计算方程中的未知参数，使直线与实际数据点的平方差之和最小。而多元回归是这一原理在多个预测变量情况下的逻辑延伸。

多元回归的基本方程为：$outcome_i = (model) + error_i$，具体形式为 $Y_i = b_0 + b_1X_{1i} + b_2X_{2i} + \cdots + b_nX_{ni} + \varepsilon_i$ 。其中，$Y$ 是结果变量，$b_1$ 是第一个预测变量 $X_1$ 的系数，$b_2$ 是第二个预测变量 $X_2$ 的系数，$b_n$ 是第 $n$ 个预测变量 $X_{ni}$ 的系数，$\varepsilon_i$ 是第 $i$ 个参与者的预测值与观测值之间的差异。

例如，一家唱片公司高管想扩展专辑销售模型，已知广告预算能解释专辑销售 33% 的变化，还有 67% 未解释。他决定测量专辑在发行前一周在英国最大国家广播电台 Radio 1 上的播放次数，将现有模型扩展为：$Album Sales_i = (b_0 + b_1 advertising budget_i + b_2 airplay_i) + e_i$ 。这个模型有两个预测变量，可以用三维散点图展示回归平面。

2. 平方和、$R$ 与 $R^2$

在多元回归中，平方和的划分与单变量情况类似，但模型采用上述多元回归方程形式。$SST$ 表示观测值与结果变量均值的差异，$SSR$ 表示模型预测的 $Y$ 值与观测值的差异，$SSM$ 表示模型预测的 $Y$ 值与均值的差异。

当有多个