14、惩罚线性回归：原理、算法与模型选择

惩罚线性回归：原理、算法与模型选择

1. 惩罚线性回归基础

1.1 λ 参数的影响

在惩罚线性回归中，λ 值起着关键作用。较大的 λ 值会使结果更接近惩罚项的最小值（所有系数为零），而较小的 λ 值会使最小值更接近无约束的最小预测误差。

1.2 平方和惩罚与绝对值和惩罚的区别

平方和系数惩罚与绝对值和惩罚之间的区别很重要。对于某些方程，整体最小值通常出现在恒定惩罚曲线与平方预测误差曲线相切的点。在平方和惩罚的情况下，切点通常不在坐标轴上；而在绝对值和惩罚中，切点可能会在某一轴上停留一段时间。这种特性与 Lasso 回归的稀疏性相关，稀疏系数向量意味着可以忽略某些变量。通过扫描 λ 从大到小的值，可以对所有属性按重要性进行排序。

1.3 ElasticNet 惩罚

ElasticNet 惩罚结合了 Ridge 惩罚和 Lasso 惩罚。它引入了另一个参数 α，用于参数化 Ridge 惩罚和 Lasso 惩罚在总惩罚中所占的比例。当 α = 1 时，为全 Lasso 惩罚；当 α = 0 时，为全 Ridge 惩罚。在求解线性模型的系数时，需要同时指定 λ 和 α。通常的做法是先选择一个 α 值，然后求解一系列的 λ 值。

2. 求解惩罚线性回归问题

2.1 专门算法

为了解决惩罚线性回归问题，研究人员开发了专门的算法，如最小角回归（LARS）和 glmnet。这些算法与之前的一些方法（如 Ridge 回归和前向逐步回归）相关，并且训练速度快，可作为 Python 包的一部分使用。

2.2 前向逐步回归算法

<