4、多元线性回归：原理、应用与解读

多元线性回归：原理、应用与解读

1. 多元线性回归概述

当我们想要对连续结果变量进行建模时，多元线性回归往往是一种合适的分析方法。与简单线性回归只有一个连续输入变量不同，多元线性回归将方法推广到多个输入变量，这些变量可以是连续的，也可以是名义的。

多元线性回归的基本模型为：
[y_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \cdots + \beta_pX_{ip} + \varepsilon_i]
其中，我们假设误差项(\varepsilon_i)服从正态分布，均值为 0，标准差为(\sigma)。这里(y_i)是第(i)个单位或对象的输出，通常称为因变量；(X_{i1}, X_{i2}, \cdots, X_{ip})是输入变量，通常称为自变量，但实际上这些自变量之间不一定相互独立，有时也被称为解释变量或预测变量。每个输入变量都与一个回归系数(\beta_1, \beta_2, \cdots, \beta_p)相关联，还有一个加法常数项(\beta_0)，这些都是模型参数。

我们可以将方程右边的第一部分写为：
[LP_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \cdots + \beta_pX_{ip}]
其中(LP_i)称为线性预测器，是由输入变量预测的(y_i)的值。(y_i - LP_i = \varepsilon_i)就是误差项。

模型通过选择估计值(b_0, b_1, \cdots, b_p)来拟合，这些估计值使预测误差的平方和（SS）最小，这些估计值被称为普通最小二乘估计。利用这些估计值，我们可以计算拟合值