1.1.7. Least Angle Regression（最小角回归）和 1.1.8. LARS Lasso

1.1.7. Least Angle Regression

简介

求极值的算法有很多，有基于梯度的，例如：
常规梯度下降、坐标梯度下降、最速梯度下降、共轭梯度下降

也有基于样本和角度的，例如：
前向选择，前向梯度，最小角回归

其中，最小角回归是前向选择和前向梯度的优化。

为了寻找最小值，每种算法采取了不同的方式，下面是初始点到极值（最值）点间的路径：

• 纯粹梯度下降的路径是不规则的折线，每个折线的方向是梯度负方向
• 最速下降走折线，且前后两条折线必正交，因为方向可重复
• 坐标梯度下降也走正交折线（方向必延坐标轴方向），方向可重复
• 共轭梯度下降走折线，其全局正交（走的是多维空间的“边”）
• 前向选择基于样本固定了路径的方向（基于样本，每个样本都是一种特征的线性组合），用残差选择方向，有投影逼近目标
• 前向梯度基于样本方向和长度，逐步逼近
• 最小角回归在前向梯度的基础上，对样本（初始线性组合）再做组合，每次组合合并一个样本，最后在样本数次步骤内解决问题

优点

1. 因为它的