岭回归和套索回归（Lasso）——解决多元回归的多重共线性问题

解决问题：变量过多时可能会导致多重共线性问题造成回归系数的不显著，甚至造成OLS估计的失效

岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数构成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版；另一方面，加入的惩罚项能够让模型变得可估计，即使之前的数据不满足列满秩，在稍后的原理推导中我们将更加详细的说明这一点。

岭回归

优点：有显式的解
缺点：对于影响很小的因子的值不能趋近到0

Lasso回归

优点：可以将影响很小的因子的值减到0，更加便于筛选
缺点：没有真实的解，只能逼近和估计解

Stata的使用

在 Stata 中，我们可以安装 lassopack 命令来实现 Lasso 回归，Lassopack 包含三个与 Lasso 相关的子命令（输入 help lassopack 可以查看详情）： ‐ 子命令 lasso2 可进行 Lasso 估 计； ‐ 子命令 cvlasso 可进行 K 折交叉验证（k‐fold cross validation）； ‐ 子命令 rlasso 可以估计惩罚项由数据决定或者高维情形（变量维度超过样本数）

K 折交叉验证

我们使用 K 折交叉验证的方法来选择最佳的调整参数。

所谓的 K 折交叉验证，是说将样本数据随机分为 K 个等分。将第 1 个子样本作为 “验证集”（validation set）而保留不用，而使用其余 K-1 个子样本作为 “训练集”（training set）来估计此模型，再以此预测第 1 个子样本，并计算