超级会员免费看
本文总结了过拟合的概念及其解决方案——正则化，重点讨论了L1和L2正则化，并通过实例介绍了岭回归的代码实现。岭回归通过添加L2正则化项，在损失函数中平衡模型的正确性和泛化能力，其中正则化系数α用于调整模型的权衡。文章还探讨了随机梯度下降在防止过拟合中的应用。
先来总结一下
可以看到上一节我们说了机器学习,有一种情况就是过拟合,就是说我们做的模型,可以匹配所有的,已知的训练数据,但是对于未知的数据来的时候,我们的模型却不能很好的预测,这个就是过拟合.
然后解决过拟合可以给我们的,模型函数的,损失函数添加,惩罚项对吧,也就是把我们的损失函数,进行正则化.正则化的方式,有很多,其中L1,L2是两种,可以看到L1就是把n个维度的w,也就是权重的绝对值都加和.
然后我们再来看,我们说,我们的SGD,也就是随机梯度下降,如果要防止过拟合,可以进行正则化,那么正则化来说,其实就是在,原来的损失函数上,用L1,或者L2正则方法,进行正则化对吧,可以看到上面
其实就是用L2正则,加上了一个,所有的W权重的的平方和,这样的话,就相当于改变了原来的损失函数对吧,因为这个w的平方和是正数,所以对应的函数曲线就会往上移动,可以看
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
