本文探讨了在机器学习中使用正则项和权重衰减（weight_decay）来防止模型过拟合的方法。通过调整weight_decay的大小，可以控制模型参数的复杂程度，避免过度依赖训练数据的细节。在Caffe框架中，除了全局设置的学习率和权重衰减项，每个需要学习参数的层还拥有局部的lr_mult和decay_mult，用于更精细地控制参数更新。
在知乎找到答案：
“
为了防止模型参数太复杂导致过拟合，一般在目标函数计算的时候加入了正则项，所谓的weight_decay其实就是正则项前面的那个权值，设置偏大可以令模型在学习过程中约束参数的复杂程度。
而在caffe当中，除了全局设置的学习率lr和权重衰减项也就是weight_decay，每一个需要学习参数的layer都还有局部的加权值，分别是lr_mult和decay_mult，而对于卷积层的话，w和b都属于可以学习的参数，所以在学习更新中他们都有属于自己的lr_mult和decay_mult。
作者：卢毅
链接：https://www.zhihu.com/question/278989982/answer/403817128
来源：知乎
”
扫一扫
6151
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
