CNN网络泛化能力--Why Deep Nets Generalize?

最新推荐文章于 2023-12-31 01:41:06 发布

O天涯海阁O

最新推荐文章于 2023-12-31 01:41:06 发布

阅读量3.9k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：深度学习应用

本文链接：https://blog.youkuaiyun.com/zhangjunhit/article/details/72771550

深度学习应用专栏收录该内容

21 篇文章

订阅专栏

本文探讨了深度学习模型的强大泛化能力来源。虽然理论界尚未形成统一观点，但研究指出，模型的泛化能力可能源于随机梯度下降法(SGD)倾向于找到平坦最小值而非尖锐最小值。此外，文章还综述了几篇关键文献，揭示了泛化能力与模型最小值形状之间的复杂关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://www.inference.vc/everything-that-works-works-because-its-bayesian-2/

Why do Deep Nets Generalise?
HINT: because they are really just an approximation to Bayesian machine learning.

深度网络的泛化能力是怎么来的？
目前理论界还是没有达成一致性认识。甚至得出相反的结论！

Understanding deep learning requires rethinking generalization
https://arxiv.org/abs/1611.03530
上面这篇文献说明了网络模型强大的过拟合能力，网络的泛化能力不是来自于网络模型本身。

It appears to be that stochastic gradient descent may be responsible.
网络的泛化能力有可能来自于 SGD，下面这篇文献说明 SGD biases learning towards flat minima, rather than sharp minima，为什么 flat minima 对应更好的泛化能力了？个人认为它覆盖的参数空间范围更大一些。
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
https://arxiv.org/abs/1609.04836

但是下面的文献得出相反的结论： claim sharp minima can generalize well
Sharp Minima Can Generalize For Deep Nets
https://arxiv.org/abs/1703.04933

Everything that works works because it is Bayesian.