数值计算的稳定性至关重要，特别是在处理病态矩阵时。最小二乘法在矩阵接近奇异时变得不可靠。岭回归作为一种补充，通过牺牲无偏性来增强数值稳定性。当XTX行列式接近0时，通过向主对角元素加k值来避免矩阵奇异，形成岭迹图以确定最佳的k值，以实现更高精度的计算。在样本向量高度相关的情况下，岭回归和主成分分析（PCA）都是有效的处理手段。
数值计算方法的“稳定性”是指在计算过程中舍入误差是可以控制的。
对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。
回归分析中常用的最小二乘法是一种无偏估计。
当X列满秩时，有
X+表示X的广义逆（或叫伪逆）。
当X不是列满秩，或者某些列之间的线性相关性比较大时，XTX的行列式接近于0，即XTX接近于奇异，计算(XTX)-1时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。
岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。
当XTX的行列式接近于0时，我们将其主对角元素都加上一个数k，可以使矩阵为奇异的风险大降低。于是：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
