线性回归
简单线性回归:两个变量的相关关系
基本概念:
1、一般,在统计后,我们得到多组有X=(X1,X2...XpX_1,X_2...X_pX1,X2...Xp)的变量,以及Y变量,目的是找到两个随机变量之间的关系Y=f(X)。而这里我们假设关系是线性的。当然这一般需要先经过画图判断出来。
2、f是线性的,设f(x)=β0+β1xf(x)=\beta_0+\beta_1xf(x)=β0+β1x,对统计数据(xi,yix_i,y_ixi,yi)有yi=β0+β1xi+ϵ,ϵ为残差y_i=\beta_0+\beta_1x_i+\epsilon,\epsilon为残差yi=β0+β1xi+ϵ,ϵ为残差,我们使E[ϵ]=0,计Var(ϵ)=σ2,则E[y∣x]=E[β0+β1x+ϵ]=β0+β1x,E[\epsilon]=0,计Var(\epsilon)=\sigma^2,则E[y|x]=E[\beta_0+\beta_1x+\epsilon]=\beta_0+\beta_1x,E[ϵ]=0,计Var(ϵ)=σ2,则E[y∣x]=E[β0+β1x+ϵ]=β0+β1x,Var(y∣x)=Var(β0+β1x)+Var(ϵ)=σ2Var(y|x)=Var(\beta_0+\beta_1x)+Var(\epsilon)=\sigma^2Var(y∣x)=Var(β0+β1x)+Var(ϵ)=σ2
也就是说,我们可以用这种方法得到某个xix_ixi对应的yiy_iyi的期望与方差,以下的Var/E都可以看做在x下的条件概率
3、我们用最小二乘法对直线进行估计
最小二乘法
1、最小二乘:使L=∑ϵ2=∑(yi−β0−β1xi)2达到最小L=\sum \epsilon^2=\sum(y_i-\beta_0-\beta_1x_i)^2达到最小L=∑ϵ2=∑(yi−β0−β1xi)2达到最小,即Lβ0=−2∑(yi−β0−β1xi)=0L_{\beta_0}=-2\sum(y_i-\beta_0-\beta_1x_i)=0Lβ0=−2∑(yi−β0−β1xi)=0 Lβ1=∑−2xi(yi−β0−β1xi)=0L_{\beta_1}=\sum-2x_i(y_i-\beta_0-\beta_1x_i)=0Lβ1=∑−2xi(yi−β0−β1xi)=0,
得到β0=y‾−β1x‾,β1=∑xiyi−nx‾y‾∑xi2−nx‾2=∑(xi−x‾)(yi−y‾)∑(xi−x‾)2=Sxy/Sxx\beta_0=\overline{y}-\beta_1\overline{x},\beta_1=\frac{\sum x_iy_i-n\overline{x}\overline{y}}{\sum x_i^2-n\overline{x}^2}=\frac{\sum(x_i-\overline{x})(y_i-\overline{y})}{\sum(x_i-\overline{x})^2}=S_{xy}/S_{xx}β0=y−β1x,β1=∑xi2−nx2∑xiyi−nxy=∑(xi−x)2∑(xi−x)(yi−y)=Sxy/Sxx
2、根据最小二乘法得到的对y的估计是有残差的,对残差的估计:
1、SSE=∑ϵi2=∑(yi−yi^)2,σ^2=SSEn−2SSE=\sum \epsilon_i^2=\sum(y_i-\hat{y_i})^2,\hat{\sigma}^2=\frac{SSE}{n-2}SSE=∑ϵi2=∑(yi−yi^)2,σ^2=n−2SSE 这是对残差方差Var(yi−yi^)/Var(ϵi)Var(y_i-\hat{y_i})/Var(\epsilon_i)Var(yi−yi^)/Var(ϵi)的无偏估计:
证明:...
2、SSE=SST−β1^Sxy=SST−SSR,SST=∑(yi−y‾)2SSE=SST-\hat{\beta_1}S_{xy}=SST-SSR,SST=\sum(y_i-\overline{y})^2SSE=SST−β1^Sxy=SST−SSR,SST=∑(yi−y)2
证明:SST=∑(yi−y‾)2=∑(yi−yi^)2+∑(yi^−y‾)2+2∑(yi−yi^)(yi^−y‾)SST=\sum(y_i-\overline{y})^2=\sum(y_i-\hat{y_i})^2+\sum(\hat{y_i}-\overline{y})^2+2\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})SST=∑(yi−y)2=∑(yi−yi^)2+∑(yi^−y)2+2∑(yi−yi^)(yi^−y)
SSR=∑(yi^−y‾)2=∑(β0^+β1^xi−(β0^+β1^x‾))2=β1^2Sxx=β1^SxySSR=\sum(\hat{y_i}-\overline{y})^2=\sum(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))^2=\hat{\beta_1}^2S_{xx}=\hat{\beta_1}S_{xy}SSR=∑(yi^−y)2=∑(β0^+β1^xi−(β0^+β1^x))2=β1^2Sxx=β1^Sxy
∑(yi−yi^)(yi^−y‾)=∑(yi−yi^)(β0^+β1^xi−(β0^+β1^x‾))=β1^∑(yi−yi^)(xi−x‾)\sum(y_i-\hat{y_i})(\hat{y_i}-\overline{y})=\sum(y_i-\hat{y_i})(\hat{\beta_0}+\hat{\beta_1}x_i-(\hat{\beta_0}+\hat{\beta_1}\overline{x}))=\hat{\beta_1}\sum(y_i-\hat{y_i})(x_i-\overline{x})∑(yi−yi^)(yi^−y)=∑(yi</