深度学习的正则化，其实是这么一回事

 

深度学习是机器学习的子集，也就是深度学习是机器学习中的某一个部分。

在机器学习中，对一个数据集进行拟合会出现3种情况：没有学到数据集中隐含的规律，这种叫欠拟合；恰好学到了数据集中最本质的部分，这种学习是可以泛化到未知数据集的；把数据集中所有的细枝末节都学到了，这种学习就很难迁移到未知数据集上，因为不知道把学到的哪部分匹配到未知数据上，似乎都适合，又似乎都不适合，这种叫过拟合。

欠拟合肯定不行，这就像课堂上那些上课不认真的，啥都没学到，遇到未知的东西自然两眼一摸黑，脑子里没有任何可适配的东西。

过拟合有点类似死读书，就是以前批判的教条主义。面对未知的情况，先掏出本本，看书上怎么说，看有没有匹配的。动不动就某某说，某某没说。

所以对过拟合，我们要做什么？

很显然，就是做减法，减掉那些学到的细枝末节，找出所学到的东西中最起作用的那部分。这就是正则化的原理。

正则化有几种方式。

参数范数惩罚

可能难以理解惩罚是何意。我们可以想想现实生活中受惩罚的后果会是什么？当你犯了错误，受了惩罚，你会怎样？如果你长记性，这个错误的行为你以后就会很少犯，所以惩罚的意思就等于减少。

所以参数范数惩罚就是根据范数来减少参数，最典型的一个做法就是权重衰减。在代价函数里，添加一个带权重的参数范数项，然后求权重的导数。经过这种处理，可以得出代价函数最敏感的维度得以保留，也就是在这个维度的变化都会引起代价函数的同比的变化，这说明这个维度或特征是一个主要影响因子，这样的特征当然要保留。而如果另外一个维度的大变化，代价行数都没怎么变化，这说明这个维度或特征对代价函数的影响微乎其微，所以其权重就将衰减到0或一个很小的值。

所以正则化本质上就是对学到过多东西的模型做减法，如何减，减掉哪个，是我们值得重点研究的东西。这就是为什么正则化的地位等同于优化，都是机器学习和深度学习中重要的研究领域。

这么一说，我们是不是就觉得正则化其实没那么神秘了。