线性回归方程

inf-inf

已于 2023-04-12 18:41:07 修改

阅读量310

点赞数

分类专栏： Notebook python 文章标签：线性回归算法机器学习

于 2023-04-12 14:29:41 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_42666153/article/details/130088155

版权

Notebook 同时被 2 个专栏收录

49 篇文章

订阅专栏

python

32 篇文章

订阅专栏

文章讨论了线性回归模型的评估指标如R^2,AIC和BIC，以及残差图在检验模型假设中的作用。强调了误差不相关性对模型的影响和处理异方差性的方法，包括数据变换、加权最小二乘法回归。此外，提到了在处理重复值和时间序列数据时的相关性问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、检验构建的方程模型方法：
R^2, AIC, BIC
在这里插入图片描述

二、残差图Residual plots可以检验回归的结果：
在这里插入图片描述

当残差满足高斯分布式，就有最小二乘线性回归等价于极大似然估计。

三、error terms 误差不相关，模型较好
当error terms相关时，则估计的标准差会低估真实标准差standard errors，即真实的标准差更大。置信度和预测值的范围会变窄，即没有那么可信，这可能会导致引入不那么重要的变量（估计的可信度偏高）。

当样本有重复值时，统计显著性会相对于去除重复值更不显著。
有时会出现在时间序列上，当在连续的时间上取值时，error terms更可能相关。
当因变量经过同样的处理，或者自相关，或因变量经过处理，预测自己时，error terms更容易相关。
在这里插入图片描述

四、减少non-constant variances （异方差性heteroscedasticity），做log，或开根号
在这里插入图片描述

残差恒定是线性回归建模的一个前提条件，《线性回归中的方差齐性探察》一文曾介绍过各种线性回归的方差齐性的检验方法。如果出现了异方差，数据变换、方差稳健估计（使用三明治方差估计量）、加权最小二乘法回归、非参数回归都是可以考虑的方法。此次笔记介绍加权最小二乘法（weighted least square，WLS）回归。
加权线性回归（加权最小二乘法回归）

《An Introduction to Statistical Learning with Applications in R(Gareth James, Trevor Hastie, Daniela Witten)
》