复共线性岭估计

最新推荐文章于 2022-09-30 11:40:37 发布

原创

最新推荐文章于 2022-09-30 11:40:37 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#复共线性 #岭估计

本文探讨了复共线性问题及其在最小二乘估计中的影响，指出当设计矩阵X存在多重共线性时，最小二乘估计的性能下降。为解决这一问题，介绍了岭估计的概念，它是通过在最小二乘估计中添加调整项来降低方差，以提高估计的稳定性。定理表明存在适当的k值，使得岭估计在均方误差意义上优于最小二乘估计。

复共线性

首先引入均方误差 $M S E$ 进行评价一个估计的优良的标准 $MSE(θ~)=trCov(θ~)+∥Eθ~−θ∥2MSE(\tilde{\theta })=trCov(\tilde{\theta })+\left \| E\tilde{\theta }-\theta \right \|^2$ 即均方误差等于分量方差之和再加上一有偏估计。
下面讨论最小二乘估计，考虑线性模型 $=\alpha 1_n+X\beta+e,\quad Ee=o,\quad Cov(e)=\sigma ^2I$ 这里设计矩阵 $Xn×pX_{n\times p}$ ，已经中心化和标准化，并秩为 $p$ ,于是 $α\alpha$