正则化-概念+QA
先给出来，回头迭代填坑
L2正则化：
很显然，我们可以知道，加入正则化后，可以迫使参数变小。
Q：参数变小和缓解过拟合的关系是？
A：理解-1：一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀）[奥卡姆剃刀解释这个略微牵强]
理解-2：过拟合的时候，参数往往比较大。就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。
https://blog.youkuaiyun.com/weixin_31866177/article/details/86678420
扫一扫
9173
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
