参数的范数正则/惩罚（parameter norm penalties）

1. L2 范数

J~(w;X,y)=J(w;X,y)+α2wTw

J 表示的是原始的目标函数，J~ 则是二范数约束后的新的目标函数。

则根据梯度下降算法有：

• ∇wJ~=∇wJ+αw
• w←w−ϵ∇wJ~=w−ϵ(∇J+αw)
• w←(1−αϵ)w−ϵ∇J

转载于:https://www.cnblogs.com/mtcnn/p/9422396.html