（《机器学习》完整版系列）第11章 特征选择与稀疏学习——11.4 嵌入式选择与L1正则化（将特征选择嵌入到优化算法中，以LASSO算法为代表）

嵌入式选择：将特征选择嵌入到优化算法中，是隐式地选择。
LASSO：让算法逼迫一些属性的权重为0，即最小化$L_0$，但实际上是通过最小化$L_1$来近似实现。 这时，就有两个优化目标：一是原来的最小化损失函数；二是新增加的最小化$L_1$，其形式同引入正则化得到的式子，而正则化又有助于降低过拟合的风险。
算法LASSO一举两得：降低过似合风险和得到“稀疏”解。

嵌入式选择与$L_1$正则化

在有趣的距离与范数中，我们定义了$L_0,L_1,L_2$等范数。
假定以某种方法迫使$\mathbf{w}$的一些分量为0（最小化$L_0$），非零分量只有$d^{\prime }$个，这时
$$\begin{array}{rl}{\mathbf{w}}^{\mathrm{T}}\mathbf{x}& =(w_1,w_2,\cdots ,w_d)(x^1;x^2;\cdots ;x^d)\\ & =(w_1,w_2,\cdots ,w_{d^{\prime }},0,\cdots ,0)(x^1;x^2;\cdots ;x^{d^{\prime }};x^{d^{\prime }+1};\cdots ;x^d)\\ & \text{（假定w的非零分量为d′个且排在前面）}\\ & =({{\mathbf{w}}^{\prime }}^{\mathrm{T}},0^{\mathrm{T}})({\mathbf{x}}^{\prime };\ast )\\ & ={{\mathbf{w}}^{\prime }}^{\mathrm{T}}{\mathbf{x}}^{\prime }\end{array}\text{\hspace{1em}(11.11)}$$
即“$\mathbf{x}$作用于$\mathbf{w}$”等价于“${\mathbf{x}}^{\prime }$作用于${\mathbf{w}}^{\prime }$”，而${\mathbf{x}}^{\prime }=(x^1;x^2;\cdots ;x^{d^{\prime }})$，只有$d^{\prime }$个属性，这就实现有“删维”的目的。 即它可以通过$\mathbf{w}$的“稀疏”（由于非零分量不一定排在前面，而是零星地分布，故称为“稀疏”）来实现$\mathbf{x}$的“删维”。

嵌入式选择是隐式地选择（算法逼迫一些属性的权重为0，即最小化$L_0$），但实际上是通过最小化$L_1$来近似实现。 这时，就有两个优化目标：一是原来的最小化损失函数；二是新增加的最小化$L_1$。 将二者合在一起进行优化，即为【西瓜书式(11.7)】，称为LASSO。 其形式同引入正则化得到的式子，而正则化又有助于降低过拟合的风险。 因此，算法LASSO一举两得：降低过似合风险和得到“稀疏”解（实现了式(11.11)的效果）。

【西瓜书图11.2】在二维情形下，以直观的方式解释了：

• $L_2$正则化（岭回归）的最优点位于损失曲线（圆）与$||\mathbf{w}|{|}_2^2=c$（圆）相切处。
• $L_1$正则化（LASSO）的最优点位于损失曲线（圆）与$||\mathbf{w}|{|}_1=c$（正方形）相切处，而该正方形是一种特殊的正方形：顶点在坐标轴上（$|w_1|+|w_2|=c$），故最优点在坐标轴上，即另一坐标为0，这即为“稀疏”解。

【西瓜书式(11.7)】是基于线性回归目标【西瓜书式(11.5)】构造的$L_1$正则化，推广到一般，设优化目标函数为$f(\mathbf{x})$，则$L_1$正则化为【西瓜书式(11.8)】。

通常用近端梯度下降（PGD）求解$L_1$正则化问题。
与梯度下降法不同的是：这里不是对整体（$f(\mathbf{x})+\lambda ||\mathbf{x}|{|}_1$）使用泰勒展式，而是对其中的一部分（即$f(\mathbf{x})$）使用泰勒展式，得到【西瓜书式(11.10)】，如是就有了图11.3的求值过程（图中的式子编号均为【西瓜书中的式子编号】）。

图11.3 近端梯度下降（PGD）

图11.3 中，从【西瓜书式(11.13)】求解${\mathbf{x}}_{k+1}$如下：
$$\begin{array}{rl}& \frac{L}{2}||\mathbf{x}-\mathbf{z}|{|}_2^2+\lambda ||\mathbf{x}|{|}_1\\ & =\frac{L}{2}\sum _{i=1}^d{\left[x^i-z^i\right]}^2+\lambda \sum _{i=1}^d|x^i|\\ & =\frac{L}{2}\sum _{i=1}^d\left[(x^i-z^i{)}^2\pm \frac{2}{L}\lambda x^i\right]\\ & =\frac{L}{2}\sum _{i=1}^d\left[(x^i-z^i{)}^2\pm 2\frac{\lambda }{L}(x^i-z^i)+(\frac{\lambda }{L}{)}^2+\mathrm{const}\right]\\ & =\frac{L}{2}\sum _{i=1}^d\left[(x^i-z^i\pm \frac{\lambda }{L}{)}^2+\mathrm{const}\right]\\ & =\frac{L}{2}\sum _{i=1}^d\left[(x^i-z^i\pm \frac{\lambda }{L}{)}^2\right]+\mathrm{const}\end{array}\text{\hspace{1em}(11.12)}$$
其中，$\pm$当$x^i>0$时取“+”号。 这里由于下标被样本编号占用，故用上标表示向量的分量。

由8.3 AdaBoost算法的详细推导式 (8.17)的数学知识，对式(11.12)的最小化变为
$$\begin{array}{r}\min \sum _{i=1}^d\left[(x^i-z^i\pm \frac{\lambda }{L}{)}^2\right]\end{array}\text{\hspace{1em}(11.13)}$$

平方和式(11.13)：当各项为0时，达到最小值0。 即解为
$$\begin{array}{r}{x}^i=z^i\mp \frac{\lambda }{L}\end{array}\text{\hspace{1em}(11.14)}$$
其中，$\mp$当$x^i>0$时取“$-$”号。 整理即为【西瓜书式(11.14)】。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：11.3 包裹式选择（特征选择的LVW算法：打开包裹）
下一篇：11.5 稀疏表示与字典学习（字典、词频、文档的特征）