博客探讨了处理过拟合的常用方法，特别是权重衰减。权重衰减通过引入L2正则项限制模型参数的大小，从而控制模型复杂度，防止模型在训练数据上过度拟合。正则权重是调整模型复杂度的重要超参数。
一、权重衰退
常用的处理过拟合的方法
1、使用均方范数作为硬性限制
通过限制参数值的选择范围来控制模型容量
限制w的数值
2、使用均方范数作为柔性限制（常用）
补：正则项就是防止损失函数最优导致过拟合，把损失函数的最优点往外拉一拉
3、总结
权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
正则权重是控制模型负责度的超参数
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
