关于正则化

在深度学习的很多算法中，正则化是通过在目标函数J后面加上一个参数范数惩罚Ω(θ)来限制模型的学习能力，正则化之后的目标函数如下：

其中α∈（0，∞），α的值表示权衡原始目标函数J()和参数范数惩罚Ω(θ)的相对贡献度，将设为0表示没有正则化 越大，对应正则化惩罚越大。

训练算法最小化正则化后的目标函数~ J 时，它会降低原始目标J 关于训练数据的误差并同时减小在某些衡量标准下参数（或参数子集）的规模。选择不同的参数范数Ω 会偏好不同的解。