有监督回归：稀疏学习

最新推荐文章于 2024-12-08 22:59:25 发布

沈子恒

最新推荐文章于 2024-12-08 22:59:25 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习算法与应用机器学习理论与Python实现

本文链接：https://blog.youkuaiyun.com/shenziheng1/article/details/72953390

本文探讨了L1约束的最小二乘学习法，用于解决参数众多时的回归问题。通过引入L1范数，算法可以得到稀疏解，即大部分参数为0，从而提高求解速度。此外，还介绍了L1约束的最小二乘学习法的求解方法，包括拉格朗日乘子法和迭代更新策略。L1约束的学习结果能进行有效的特征选择，相比L2约束，它能更好地处理高维数据和特征组合问题。

1.前言

带有约束条件的最小二乘学习法和交叉验证的组合，在实际应用中是非常有效的回归方法。然而，当参数特别多的时候，求解各参数以及学习得到的函数的输出值的过程，都需要耗费大量的时间。

这篇博客主要介绍可以把大部分都设置为0的稀疏学习算法，因为大部分参数都设置为0，所以就可以快速地求解各参数以及学习得到的函数。

2.L1约束的最小二乘学习法

在L2约束的最小二乘学习法中，L2范数有一定的约束作用。而在稀疏学习中，则使用L1来进行相应的条件约束。如下所示：

向量Θ=（Θ1，...,Θb）'的L1范数||Θ||1是作为向量Θ的各元素的绝对值和来进行定义的：

满足||Θ||1≤R的范围如下图所示：

在个参数的轴上以角的形式加以表示。

而在实际应用中，上述的角就是得到稀疏解（含有大量0的解）的秘诀。

对于参数的线性模型：

训练平方误差Jls是关于Θ的向下的二次凸函数。因此，训练平方误差Jls在参数空间内具有椭圆状的等高线，其底部就是最小二乘解，如下图所示：

L2约束的最小二乘学习法

椭圆状的等高线和圆周的交点，就是L2约束的最小二乘学习法的解，我们记为L2cls（L2-constrained least squares）。

另一方面，L1约束的最小二乘学习法的解所在的范围，在各个参数的轴上都有角，如下图所示：