线性回归中的前提假设

最新推荐文章于 2025-06-27 20:52:12 发布

原创

最新推荐文章于 2025-06-27 20:52:12 发布 · 1.4w 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

线性回归中包括三个重要假设：弱外生性，即自变量无测量误差；线性，即因变量与自变量间呈线性关系；同方差性，即不同观测值的方差相同。此外，还包括误差独立性和无多重共线性假设。实际应用中，这些假设往往难以完全满足，但简化问题时通常会予以假设。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在谈线性回归模型的时候被问到，在线性回归中，有三个假设，是哪三个？
当时回答出来自变量x和因变量y之间是线性变化关系，也就是说，如果x进行线性变化的话，y也会有相应的线性变化。
提到数据样本的时候也答道了样本点之间要求是独立同分布的（根据MLE准则，假定对样本加上高斯白噪声e的情况下）。
但是第三个最终还是没有答上来，面试官也没有再给提示，所以回来自己再查一下。
LR的wiki页面（http://en.wikipedia.org/wiki/Linear_regression）中，有提到了LR的假设，分别是：

Weak exogeneity：弱外生性。看意思是说假设用来预测的自变量x是没有测量误差的。这一假设当然是不现实的，不过如果没有这个假设的话，模型的复杂度会大大增加。
Linearity：线性。就是因变量y是多个自变量x之间的线性组合。
Constant variance (aka homoscedasticity)：同方差性。意思是说不同的因变量x的方差都是相同的。
Independence of errors：误差独立性。即是变量之间是独立的（有些方法可以处理变量之间不独立的情况，如generalized least squares等）。
Lack of multicollinearity in the predictors：预测变量之中没有多重共线性。多重共线性意思是说，This can be triggered by having two or more perfectly correlated predictor variables (e.g. if the same predictor variable is mistakenly given twice, either without transforming one of the copies or by transforming one of the copies linearly). It can also happen if there is too little data available compared to the number of parameters to be