L1、L2正则化
什么是正则化？
正则化在DL、ML中的含义为，为模型取得较好的泛化性，在目标函数中添加的相应惩罚项。
通俗的来讲：
正则化的加入就是为了提高模型的表征能力与适应能力，使其不至于对训练数据集产生过拟合现象。
L1、L2正则化公式
L1正则化其就是惩罚项采用了L1范数而得名的，简单且不严谨的理解L1范数就是绝对值。
加入L1正则化之后的损失函数为：
J ^ ( ω ; X , y ) = J ( ω ; X , y ) + λ ∥ ω ∥ 1 \hat{J}(\omega;X,y)=J(\omega;X,y)+\lambda\parallel\omega\parallel_1 J^(ω;X,y)=J(ω;X,y)+λ∥ω∥1
L2正则化与L1相类似，只不过是采用了L2范数，可以理解为是平方根形式的惩罚项。
加入L2正则化之后的损失函数为：
J ^ ( ω ; X , y ) = J ( ω ; X , y ) + λ 2 ∥ ω ∥ 2 2 \hat{J}(\omega;X,y)=J(\omega;X,y)+\frac{\lambda}{2}\parallel\omega\parallel^2_2 J^(ω;X,y)=
最低0.47元/天 解锁文章
扫一扫
584
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
