数据科学每日总结--Day21--统计学

原创于 2025-11-16 21:32:42 发布 · 308 阅读

CC 4.0 BY-SA版权

文章标签：

多元线性回归

定义：多元线性回归是一种统计方法，用来分析一个因变量与多个自变量之间的线性关系。模型形式为： $Y = \beta_{0}+\beta_{1}X_{1}+\beta_{2}X_{2}+\cdot\cdot\cdot+\beta_{p}X_{p}+\varepsilon$ ，其中，Y是因变量， $X_{1}+X_{2}+\cdot\cdot\cdot+X_{p}$ 是自变量， $\beta_{0},\beta_{i}$ 是截距项和对应自变量的回归系数，ε是误差项。

多元线性回归一般用于预测某个量的未来值，或是解释分析各个变量对结果的影响程度

定性预测变量

多元线性回归本质上要求自变量为数值型，因此定性变量要转成数值形式，常用的做法是：

虚拟变量：将某个类别变量用0/1编码。例如性别：男=0，女=1；如果分类>2阶段，则需使用k-1个虚拟变量表示k中类别
效果编码：用 -1/0/1 表示类别，便于系数解释为相对基准的偏差
one-hot Encoding：为每个类别生成一个新变量，类别取值为 0/1（类似虚拟变量）
编码时必须避免虚拟变量陷阱，即避免完全多重共线性，通常会删除一个虚拟变量作为参照组

线性模型的扩展

基础的多元线性回归并不总是适合问题，可以扩展为更灵活的模型来应对不同数据结构和问题

广义线性模型 (GLM)：
- 允许因变量服从非正态分布（如二项分布、Poisson分布）
- 常用模型：逻辑回归、泊松回归
加性模型（GAM)：
- 允许自变量与因变量之间的关系是非线性的，但可以加性组合
- 形式： $Y = \beta_{0}+f_{1}(X_{1})+f_{2}(X_{2})+\cdot\cdot\cdot$
多项式回归 (Polynomial Regression)：
- 假如高阶项： $X^{2},X^{3}$ 等，以捕捉非线性
交互作用模型 (Interaction Terms)：
- 捕捉变量之间的相互影响，如 $X_{1}\times X_{2}$ 项
分层线性模型 ( HLM)：
- 针对嵌套数据结构（如学校内的学生数据）
岭回归 (Ridge Regression)、套索回归 (Lasso Regression)：
- 在多元线性回归中加入正则化项，防止过拟合