统计学习基础--第三章线性回归

无所求275

于 2021-11-04 01:12:14 发布

阅读量1k

点赞数 1

分类专栏：统计学习导论文章标签：线性回归回归统计学统计模型

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_61586198/article/details/121091680

版权

本文详细介绍了线性回归的基础知识，包括简单线性和多元线性回归的表达式、估计系数方法（最小二乘法）、模型评估与准确性判断。重点关注了RSE、F统计量、Mallow's CP、AIC和BIC等评价指标，以及线性模型的假设、非线性关系的处理、数据问题如残差分析、自相关、异方差性和离群点的识别。此外，还讨论了高杠杆点和共线性的影响及检测方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录

一、简单线性回归

2、估计系数

（1）方法：最小二乘法

（2）实质：

（4）评估系数估计的准确性

3、评估模型的准确性

二、多元线性回归

2、估计系数

3、响应变量与预测变量的关系

4、判断预测变量对响应变量的解释效果

5、模型拟合程度指标：RSE和

6、线性模型的扩展

（1）标准线性回归模型的重要假设

（2）去除可加性假设

7、需要注意的问题

（1）数据的非线性——画残差图

（2）误差项自相关

（3）误差项方差非恒定——画残差图

（4）离群点

（5）高杠杆点

（6）共线性

一、简单线性回归

1、表达式

$\large y=\beta_0+\beta_1x+\varepsilon$

2、估计系数

（1）方法：最小二乘法

（2）实质： $\large min(y-\hat{y})^2$

$\large RSS=({e_1}^2+{e_2}^2+\cdot \cdot \cdot +{e_n}^2) =(y_1-\hat{\beta_0}^2-\hat{\beta_1}^2x_1)^2+\cdot \cdot \cdot +(y_n-\hat{\beta_0}^2-\hat{\beta_1}^2x_n)^2$

（3）结果

$\large \hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}$

$\large \hat{\beta_1}=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}$

（4）评估系数估计的准确性

3、评估模型的准确性

方法一：RSE（对模型失拟的度量，越小越好）

方法二： $\large R^2$ 统计量（越接近1越好）

二、多元线性回归

1、表达式

$Y=\beta_0+\beta_1X_1+\beta_2X_2+\cdots +\beta_pX_p+\varepsilon$

2、估计系数

（1）方法：最小二乘法

（2）实质：残差平方和最小

3、响应变量与预测变量的关系

在简单的线性回归中ÿ

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。