简单线性回归笔记

本文详细介绍了简单线性回归的概念,包括最小二乘法的原理和应用。通过最小二乘法求解直线估计,探讨了残差估计、方差分析和相关系数。还涉及了残差的假设检验和线性回归的估计值性质。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

线性回归

简单线性回归:两个变量的相关关系

基本概念:

1、一般,在统计后,我们得到多组有X=(X1,X2...XpX_1,X_2...X_pX1,X2...Xp)的变量,以及Y变量,目的是找到两个随机变量之间的关系Y=f(X)。而这里我们假设关系是线性的。当然这一般需要先经过画图判断出来。

2、f是线性的,设f(x)=β0+β1xf(x)=\beta_0+\beta_1xf(x)=β0+β1x,对统计数据(xi,yix_i,y_ixi,yi)有yi=β0+β1xi+ϵ,ϵ为残差y_i=\beta_0+\beta_1x_i+\epsilon,\epsilon为残差yi=β0+β1xi+ϵ,ϵ,我们使E[ϵ]=0,计Var(ϵ)=σ2,则E[y∣x]=E[β0+β1x+ϵ]=β0+β1x,E[\epsilon]=0,计Var(\epsilon)=\sigma^2,则E[y|x]=E[\beta_0+\beta_1x+\epsilon]=\beta_0+\beta_1x,E[ϵ]=0,Var(ϵ)=σ2,E[yx]=E[β0+β1x+ϵ]=β0+β1x,Var(y∣x)=Var(β0+β1x)+Var(ϵ)=σ2Var(y|x)=Var(\beta_0+\beta_1x)+Var(\epsilon)=\sigma^2Var(yx)=Var(β0+β1x)+Var(ϵ)=σ2
也就是说,我们可以用这种方法得到某个xix_ixi对应的yiy_iyi的期望与方差,以下的Var/E都可以看做在x下的条件概率

3、我们用最小二乘法对直线进行估计

最小二乘法

1、最小二乘:使L=∑ϵ2=∑(yi−β0−β1xi)2达到最小L=\sum \epsilon^2=\sum(y_i-\beta_0-\beta_1x_i)^2达到最小L=ϵ2=(yiβ0β1xi)2,即Lβ0=−2∑(yi−β0−β1xi)=0L_{\beta_0}=-2\sum(y_i-\beta_0-\beta_1x_i)=0Lβ0=2(yiβ0β1xi)=0 Lβ1=∑−2xi(yi−β0−β1xi)=0L_{\beta_1}=\sum-2x_i(y_i-\beta_0-\beta_1x_i)=0Lβ1=2xi(yiβ0β1xi)=0,
得到β0=y‾−β1x‾,β1=∑xiyi−nx‾y‾∑xi2−nx‾2=∑(xi−x‾)(yi−y‾)∑(xi−x‾)2=Sxy/Sxx\beta_0=\overline{y}-\beta_1\overline{x},\beta_1=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sum x_i^2-n\overline{x}^2}=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sum(x_i-\overline{x})^2}=S_{xy}/S_{xx}β0=yβ1x,β1=xi2nx2xiyinxy=(xix)2(xix)(yiy)=Sxy/Sxx

2、根据最小二乘法得到的对y的估计是有残差的,对残差的估计:

​ 1、SSE=∑ϵi2=∑(yi−yi^)2,σ^2=SSEn−2SSE=\sum \epsilon_i^2=\sum(y_i-\hat{y_i})^2,\hat{\sigma}^2=\frac{SSE}{n-2}SSE=ϵi2=(yiyi^)2,σ^2=n2SSE 这是对残差方差Var(yi−yi^)/Var(ϵi)Var(y_i-\hat{y_i})/Var(\epsilon_i)Var(yiyi^)/Var(ϵi)的无偏估计:
证明:...

​ 2、SSE=SST−β1^Sxy=SST−SSR,SST=∑(yi−y‾)2SSE=SST-\hat{\beta_1}S_{xy}=SST-SSR,SST=\sum(y_i-\overline{y})^2SSE=SSTβ1^Sxy=SSTSSR,SST=(yiy)2
证明:SST=∑(yi−y‾)2=∑(yi−yi^)2+∑(yi^−y‾)2+2∑(yi−yi^)(yi^−y‾)SST=\sum(y_i-\overline{y})^2=\sum(y_i-\hat{y_i})^2+\sum(\hat{y_i}-\overline{y})^2+2\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})SST=(yiy)2=(yiyi^)2+(yi^y)2+2(yiyi^)(yi^y)
SSR=∑(yi^−y‾)2=∑(β0^+β1^xi−(β0^+β1^x‾))2=β1^2Sxx=β1^SxySSR=\sum(\hat{y_i}-\overline{y})^2=\sum(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))^2=\hat{\beta_1}^2S_{xx}=\hat{\beta_1}S_{xy}SSR=(yi^y)2=(β0^+β1^xi(β0^+β1^x))2=β1^2Sxx=β1^Sxy
∑(yi−yi^)(yi^−y‾)=∑(yi−yi^)(β0^+β1^xi−(β0^+β1^x‾))=β1^∑(yi−yi^)(xi−x‾)\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})=\sum(y_i-\hat{y_i})(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))=\hat{\beta_1}\sum(y_i-\hat{y_i})(x_i-\overline{x})(yiyi^)(yi^y)=(yi</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值