超级会员免费看
本文详细解读了L1正则化在套索回归中的应用，通过公式推导解释了如何利用L1正则防止过拟合。通过分段求导展示了L1正则化如何影响权重更新，使得某些权重向0靠近，从而达到特征选择的效果。
然后我们继续来看套索回归,也就是线性回归,加上了一个L1正则化对吧,然后我们看这里
L1正则化的公式是第二个,然后第一个是原来的线性回归,然后
最后一行紫色的,是J= J0+L1 对吧,其实就是上面两个公式加起来
然后我们再去看绿色的
第一行,其实就是原来线性回归的梯度下降公式,这里的n 表示学习率,也是步幅对吧
然后第二行是加上了L1正则的,梯度下降公式
然后我们把加上了L1的梯度下降公式,进行展开,可以看到上面
绿色的部分公式:
第一行是 线性回归梯度下降公式
第二行是 添加了L1的套索回归梯度下降公式
第三行是 是线性回归的导数,其实就是对
这一部分求导
然后我们再看对于L1求导来说,是
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
