本文探讨了L1和L2正则化在机器学习中的作用。L1正则化倾向于产生稀疏权重矩阵，适用于特征选择；而L2正则化则平滑地减少权重大小，保留所有特征的同时防止过拟合。L1正则化通过将部分权重压缩到零来实现特征选择，而L2正则化则确保权重不会变为零，保持了原始特征的重要性。
因为L1会把很小的值压为0，将W变成了一个稀疏矩阵了，而L2则是整体的降小，只是W越大W降的越大，但是不会变成0，更能体现原始特征。因此常用L1来做特征选择。
L1只和稀疏的数据发生交叉，不稀疏的地方就不交叉。
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
因为L1会把很小的值压为0，将W变成了一个稀疏矩阵了，而L2则是整体的降小，只是W越大W降的越大，但是不会变成0，更能体现原始特征。因此常用L1来做特征选择。
L1只和稀疏的数据发生交叉，不稀疏的地方就不交叉。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
