浅谈深度学习shuffle问题

在模型训练前，我们往往对数据进行shuffle，即随机打乱数据，为什么要这么做呢？不这么做会出现什么问题？何时应该shuffle，何时不该shuffle呢？

下面，本文就以上三个问题发表下自己的拙见。

Q1：为什么要进行shuffle？

A1：不论是机器学习还是深度学习，我们总是基于数据独立同分布的假设条件，也就是说，数据的出现应该是随机的，而不是按照某种顺序排列好的。以上就是需要shuffle的根本原因。因此，我们需要在每个epoch的开始把数据shuffle一下。

 

Q2：不shuffle会出现什么问题？

A2：泛化能力差。

①模型学到的可能只是数据次序，并未学到有用的信息，导致泛化能力差。

②如果数据是排序过的，比如按类别排序，会导致模型一会儿过拟合这个类，一会儿过拟合那个类，这一方面会使得训练过程的loss周期性震荡；另一方面，在训练结束时，模型总是对最近训练的那类数据过拟合而导致泛化能力差。

比如做公式识别（将图片的公式转换为latex形式），如果不shuffle，按图片的宽高比排列数据，且第一张图片和最后一张图片的宽高比相差很大，在这种情况下，不shuffle直接训练，就会出现loss周期性震荡的现象，比如每个epoch的开始，loss会突然上升很多，然后逐渐下降，等下一个epoch开始的时候，loss又会突然上升，循环往复。

 

Q3：何时应该shuffle，何时不该shuffle呢？

A3：当我们使用优化器进行模型训练时，比如使用SGD优化方法，不可避免地，在结束模型训练时，模型对刚刚学习过的那类数据有着更好的表现。

因此，①如果我们想让模型泛化能力更强，我们应该对数据进行shuffle，这样模型最后见过的数据在一定程度上是能代表总体的，有着更强的泛化能力，通常情况下，我