正则化（L1,L2）几何理解

上回书说到，有那么一批书呆子动不动就容易走火入魔（过拟合），所以作为老师总得想办法敲打敲打他们，那些考试基本考不着的冷门知识就别费那劲练了，于是我们给这群书呆子划了一下重点（正则化）。

关于正则化的公式啊推导啊我就不说了，我也说不好，自行移步大佬们的文，我就说说几何理解。

关于正则化的范围，其实仁者见仁智者见智，有的人觉得只有L1L2这种经典的算正则化，有的人觉得只要是能解决过拟合的都算正则化。这里我们只讲L1,L2，不过我个人是把包括数据增强，Dropout这些都归入正则化的，甚至靠经验调参的方法我也算。

先说深度学习中的天之骄子-L2

我在有个公众号看到过一张图很棒，图源见水印，文章见参考1

先只看那一堆同心圆，这堆同心圆是损失函数的等值线，我们训练需要它越小越好，所以这堆同心圆的中心就像有块磁铁一样吸引着权重w往那跑。那个红色的圆就是我们套上去的正则化等值线，L2的几何图形是个圆，至于为什么是圆，这是由公式决定的，具体原因见参考1。

假设空间上有个点，如果不加正则化，他就会像黑色箭头一样，愉快地直奔圆心的怀抱。加上正则化这堵墙以后，就是这条绿色的箭头，走着走着就碰壁了，蹭着墙只能挪到离圆心最近的地方，和正则化等值线相切以后，方向就不改变了。

L1唯一的区别就是几何图像是个矩形，其他都一样。

---

参考

1.机器学习与python集中营，史上最简单易懂、全面详细的“正则化”教程 https://mp.weixin.qq.com/s?__biz=MzU1MTk1MzU0Nw==&mid=2247483832&idx=1&sn=3301642d669d168bfc2bcb5b797130f0&chksm=fb88345cccffbd4a2a929df5517d2ca2f387ce77ea168707abfa3e7c100d34163bcced6e4844&mpshare=1&scene=23&srcid=0331XK4VqBNKTehHu7q6sQpW#rd