超级会员免费看
本文详细介绍了四种回归分析方法：岭回归、LASSO回归、主成分回归和偏最小二乘回归。岭回归通过加入L2范数惩罚项解决多重共线性问题，但可能导致模型无偏性降低。LASSO回归利用L1范数惩罚项实现变量选择，可将不重要系数缩减为0。主成分回归通过降维处理多变量，减少信息损失。偏最小二乘回归在有标签的回归问题中利用数据相关性进行降维。文章探讨了各方法的原理、参数推导、λ选择及其优缺点。
在线性回归模型中，其参数估计公式为 β = ( X T X ) − 1 X T y , \beta=\left(X^{T} X\right)^{-1} X^{T} y, β=(XTX)−1XTy, 当 X T X X^{T} X XTX 不可逆时无法求出 β , \beta, β, 另外,如果 ∣ X T X ∣ \left|X^{T} X\right| ∣∣XTX∣∣ 越趋近于 0 , 0, 0, 会使得回归系数趋向于无穷大, 此时得到的回归系数是无意义的。解决这类问题可 以使用岭回归、LASSO 回归、主成分回归、偏最小二乘回归, 主要针对自变量之间存在多重共线性或者自变量个数多于样本量的情况。
详解回归分析中相关变量选择的方法和构建思想
一、岭回归
1.1 参数推导
线性回归模型的目标函数
J ( β ) = ∑ ( y − X β ) 2 J(\beta)=\sum(y-X \beta)^{2} J(β)=
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
