sklearn机器学习：特征选择-Lasso

最新推荐文章于 2025-02-22 10:00:51 发布

原创

最新推荐文章于 2025-02-22 10:00:51 发布 · 1.2w 阅读

72 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #python #特征选择

Lasso回归在sklearn中的实现主要关注特征选择，通过L1正则化实现系数的压缩甚至归零。核心参数是正则化系数α，坐标下降法是其求解策略。Lasso相比于岭回归，对系数的惩罚更重，适用于特征选择。可以利用交叉验证、BIC或AIC等方法确定最佳正则化系数。

Lasso的核心作用：特征选择

Lasso类的格式

sklearn.linear_model.Lasso (alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection=’cyclic’)
sklearn中使用类Lasso来调用lasso回归，众多参数中，比较重要的就是正则化系数α。另外需要注意的就是参数positive。当这个参数为"True"的时候，要求Lasso回归出的系数必须为正数，以此来保证α一定以增大来控制正则化的程度。
注意，sklearn中使用的损失函数是：
$2+α∣∣ω∣∣1\large\boldsymbol{\mathop{min}\limits_\omega\frac1{2m}||X\omega-y||_2\,^2+\alpha||\omega||_1}$
其中 $12m\Large\frac1{2m}$ (即： $1nsamples\Large\frac1{n_{samples}}$