CNN网络泛化能力--Why Deep Nets Generalize?

最新推荐文章于 2025-09-28 07:28:43 发布

原创最新推荐文章于 2025-09-28 07:28:43 发布 · 4k 阅读

4 ·

CC 4.0 BY-SA版权

深度学习应用专栏收录该内容

21 篇文章

订阅专栏

本文探讨了深度学习模型的强大泛化能力来源。虽然理论界尚未形成统一观点，但研究指出，模型的泛化能力可能源于随机梯度下降法(SGD)倾向于找到平坦最小值而非尖锐最小值。此外，文章还综述了几篇关键文献，揭示了泛化能力与模型最小值形状之间的复杂关系。

http://www.inference.vc/everything-that-works-works-because-its-bayesian-2/

Why do Deep Nets Generalise?
HINT: because they are really just an approximation to Bayesian machine learning.

深度网络的泛化能力是怎么来的？
目前理论界还是没有达成一致性认识。甚至得出相反的结论！

Understanding deep learning requires rethinking generalization
https://arxiv.org/abs/1611.03530
上面这篇文献说明了网络模型强大的过拟合能力，网络的泛化能力不是来自于网络模型本身。

It appears to be that stochastic gradient descent may be responsible.
网络的泛化能力有可能来自于 SGD，下面这篇文献说明 SGD biases learning towards flat minima, rather than sharp minima，为什么 flat minima 对应更好的泛化能力了？个人认为它覆盖的参数空间范围更大一些。
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
https://arxiv.org/abs/1609.04836

但是下面的文献得出相反的结论： claim sharp minima can generalize well
Sharp Minima Can Generalize For Deep Nets
https://arxiv.org/abs/1703.04933

Everything that works works because it is Bayesian.