第二次
7.假设有人做了如下的回归:
yi=β0^+β1^xi+eiy_i=\widehat{\beta_0}+\widehat{\beta_1}x_i+e_iyi=β0
+β1
xi+ei
其中,yi,xiy_i,x_iyi,xi分别为Yi,XiY_i,X_iYi,Xi关于各自均值的离差。问β0^和β1^\widehat{\beta_0}和\widehat{\beta_1}β0
和β1
将分别取何值?
8.记样本回归模型为Yi=β0^+β1^Xi+eiY_i=\widehat{\beta_0}+\widehat{\beta_1}X_i+e_iYi=β0
+β1
Xi+ei,试证明普通最小二乘法估计的如下数值特征:
(1)估计的Y的均值等于实测的Y的均值:Y^=Yˉ\widehat{Y}=\bar{Y}Y
=Yˉ;
(2)点(Xˉ\bar{X}Xˉ,Yˉ\bar{Y}Yˉ)总在样本回归线上;
(3)残差和为0,从而残差的均值为0:Σei\Sigma e_iΣei=0,eˉ\bar{e}eˉ=0;
(4)残差与X不相关:ΣeiXi=0\Sigma e_i {X_i}=0ΣeiXi=0;
(5)残差与估计的Y不相关:ΣeiYi^=0\Sigma e_i \widehat{Y_i}=0ΣeiYi
=0;
(6)残差项与Y离差的估计不相关:Σeiyi^=0\Sigma e_i \widehat{y_i}=0Σeiyi
=0;
10.试证明:Y关于X的普通最小二乘回归,其可决系数R2R^2R2就是X与Y之间线性相关系数r的平方。
7
根据一元线性回归的最小二乘估计公式,可以得到 β1^\widehat{\beta_1}β1
和 β0^\widehat{\beta_0}β0
的表达式分别为:
其中,xˉ\bar{x}xˉ 和 yˉ\bar{y}yˉ 分别为 xix_ixi 和 yiy_iyi 的样本均值。由题可知,yiy_iyi 和 xix_ixi 分别为 YiY_iYi 和 XiX_iXi 关于各自均值的离差,因此可以将 xˉ=0\bar{x}=0xˉ=0 和 yˉ=0\bar{y}=0yˉ=0 代入上述公式,得到:
因此,β0^=0\widehat{\beta_0}=0β0
=0,β1^\widehat{\beta_1}β1
可以根据上述公式计算。
8
(1)估计的Y的均值等于实测的Y的均值:Y^=Yˉ\widehat{Y}=\bar{Y}Y =Yˉ
根据样本回归模型,我们有:
Y^=β0^+β1^X\widehat{Y}=\widehat{\beta_0}+\widehat{\beta_1}XY =β0 +β1 X
其中,β0^\widehat{\beta_0}β0 和β1^\widehat{\beta_1}β1 是通过最小化残差平方和来进行估计的。因此,我们有:
∑i=1nei2=∑i=1n(Yi−β0^−β1^Xi)2\sum_{i=1}^n e_i^2=\sum_{i=1}^n(Y_i-\widehat{\beta_0}-\widehat{\beta_1}X_i)^2i=1∑nei2=i=1∑n(Yi−β0 −β1 Xi)2
将Y^\widehat{Y}Y 代入上式,得到:
∑i=1nei2=∑i=1n(Yi−Y^)2\sum_{i=1}^n e_i^2=\sum_{i=1}^n(Y_i-\widehat{Y})^2i=1∑nei2=i=1∑n(Yi−Y )2
由于Y^\widehat{Y}Y 是通过最小化残差平方和来估计的,因此它是使得∑i=1n(Yi−Y^)2\sum_{i=1}^n(Y_i-\widehat{Y})^2∑i=1n(Yi−Y )2最小的值。这意味着Y^\widehat{Y}Y 是实际Y的均值Yˉ\bar{Y}Yˉ,因为Yˉ\bar{Y}Yˉ也是使得∑i=1n(Yi−Yˉ)2\sum_{i=1}^n(Y_i-\bar{Y})^2∑i=1n(Yi−Yˉ)2最小的值。
因此,我们有Y^=Yˉ\widehat{Y}=\bar{Y}Y =Yˉ。
(2)点(Xˉ\bar{X}Xˉ,Yˉ\bar{Y}Yˉ)总在样本回归线上
样本回归线可以表示为Y=β0^+β1^XY=\widehat{\beta_0}+\widehat{\beta_1}XY=β0 +β1 X。将XXX替换为Xˉ\bar{X}Xˉ,YYY替换为Y^\widehat{Y}Y ,得到:
Y^=β0^+β1^Xˉ\widehat{Y}=\widehat{\beta_0}+\widehat{\beta_1}\bar{X}Y =β0 +β1 Xˉ
由(1)可知,Y^=Yˉ\widehat{Y}=\bar{Y}Y =Yˉ,因此:
Yˉ=β0^+β1^Xˉ\bar{Y}=\widehat{\beta_0}+\widehat{\beta_1}\bar{X}Yˉ=β0 +β1 Xˉ
这意味着点(Xˉ\bar{X}Xˉ,Yˉ\bar{Y}Yˉ)在样本回归线上。
(3)残差和为0,从而残差的均值为0:Σei\Sigma e_iΣei=0,eˉ\bar{e}eˉ=0
样本回归模型可以表示为Yi=β0^+β1^Xi+eiY_i=\widehat{\beta_0}+\widehat{\beta_1}X_i+e_iYi=β0 +β1 Xi+ei。将Y^\widehat{Y}Y 代入得到:
ei=Yi−Y^=(Yi−Yˉ)−(Y^−Yˉ)e_i=Y_i-\widehat{Y}=(Y_i-\bar{Y})-(\widehat{Y}-\bar{Y})ei=Yi−Y =(Yi−Yˉ)−(Y −Yˉ)
因为Y^=Yˉ\widehat{Y}=\bar{Y}Y =Yˉ,所以:
ei=(Yi−Yˉ)−(Yˉ−Y^)=Yi−Yˉe_i=(Y_i-\bar{Y})-(\bar{Y}-\widehat{Y})=Y_i-\bar{Y}ei=(Yi−Yˉ)−(Yˉ−Y )=Yi−Yˉ
因此,
∑i=1nei=∑i=1n(Yi−Yˉ)=0\sum_{i=1}^n e_i=\sum_{i=1}^n(Y_i-\bar{Y})=0i=1∑nei=i=1∑n(Yi−Yˉ)=0
这意味着残差的和为0,从而残差的均值为0,即eˉ=0\bar{e}=0eˉ=0。
(4)残差与X不相关:ΣeiXi=0\Sigma e_i {X_i}=0ΣeiXi=0
样本回归模型可以表示为Yi=β0^+β1^Xi+eiY_i=\widehat{\beta_0}+\widehat{\beta_1}X_i+e_iYi=β0 +β1 Xi+ei。将eie_iei代入得到:
Yi−β0^−β1^Xi=eiY_i-\widehat{\beta_0}-\widehat{\beta_1}X_i=e_iYi−β0 −β1 Xi=ei
左右两边同时乘以XiX_iXi:
XiYi−β0^Xi−β1^Xi2=XieiX_iY_i-\widehat{\beta_0}X_i-\widehat{\beta_1}X_i^2=X_ie_iXiYi−β0 Xi−β1 Xi2=Xiei
对所有的iii进行求和:
∑i=1nXiYi−β0^∑i=1nXi−β1^∑i=1nXi2=∑i=1nXiei\sum_{i=1}^n X_iY_i-\widehat{\beta_0}\sum_{i=1}^n X_i-\widehat{\beta_1}\sum_{i=1}^n X_i^2=\sum_{i=1}^n X_ie_ii=1∑nXiYi−β0 i=1∑nXi−β1 i=1∑nXi2=i=1∑nX