深度学习：正则化概念浅析

【本文适合初次接触正则化，想了解正则化是什么玩意儿的读者】

【更深层次的正则化知识，我将之后在《深度学习精髓与细节知识合集》专栏中继续补充。】

---

我们在《深度学习精髓与细节知识合集》专栏中的博文《机器学习：模型的容量》中简化地讨论了修改学习算法的方法：通过增加或减少学习算法可选假设空间的函数来增加或减少模型的表示容量。但这只是修改学习算法的冰山一角。正则化是深度学习中的一项非常重要的工作，它的地位与优化不相上下。

没有免费午餐定理已经暗示我们必须在特定任务上设计性能良好的机器学习算法。 我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题相吻合时，性能会更好。算法的效果不仅很大程度上受影响于假设空间的函数数量，也取决于这些函数的具体形式。例如，我们用x去预测sin(x)，直线和正弦曲线相差得远了，拟合效果肯定不好。能不能在规规矩矩的预测函数表达式里动点手脚，让函数表达式更加灵活，具备一些我们偏好的功能？这便是正则化的灵感来源和理论依据。

直白地、一般地讲，正则化就是通过在最小化的目标中额外增加一项（正则项），来表示我们对预测函数的一些偏好。有很多其他方法隐式或显式地表示对不同解的偏好。这些方法都可以称为正则化。