1.1.7. Least Angle Regression（最小角回归）和 1.1.8. LARS Lasso

1.1.7. Least Angle Regression

简介

求极值的算法有很多，有基于梯度的，例如：
常规梯度下降、坐标梯度下降、最速梯度下降、共轭梯度下降

也有基于样本和角度的，例如：
前向选择，前向梯度，最小角回归

其中，最小角回归是前向选择和前向梯度的优化。

为了寻找最小值，每种算法采取了不同的方式，下面是初始点到极值（最值）点间的路径：

• 纯粹梯度下降的路径是不规则的折线，每个折线的方向是梯度负方向
• 最速下降走折线，且前后两条折线必正交，因为方向可重复
• 坐标梯度下降也走正交折线（方向必延坐标轴方向），方向可重复
• 共轭梯度下降走折线，其全局正交（走的是多维空间的“边”）
• 前向选择基于样本固定了路径的方向（基于样本，每个样本都是一种特征的线性组合），用残差选择方向，有投影逼近目标
• 前向梯度基于样本方向和长度，逐步逼近
• 最小角回归在前向梯度的基础上，对样本（初始线性组合）再做组合，每次组合合并一个样本，最后在样本数次步骤内解决问题

优点

1. 因为它的迭代是基于样本的，所以在样本数远少于特征数时，它的效率会很高
2. 它与前向选择是同样的时间复杂度（样本数）
3. 它会生成一个完整的分段线性解路径，这在交叉验证或类似的模型优化尝试中非常有用。
4. 如果两个特征与目标几乎相等相关，则它们的系数应以大致相同的速率增加。因此，该算法的行为与直觉所期望的一样，并且也更稳定。（可以很好的解决多重共线性）
5. 可用于其