关于epoch，batch size，和iteration

一个epoch 指的是把所有训练数据丢进神经网络一次。

由于训练数据常常太大了，不能够一次全部输入进去处理，得慢慢来，所以我们常常把训练数据分成好几等份，分完之后每份数据的数量就是 batch size，而数据共被分为了iteration等份。

epoch指的是次数，epoch = 10 指的是把整个数据集丢进神经网络训练10次。

batch size 指的是数据的个数，batch size = 10 指的是每次扔进神经网络训练的数据是10个。

iteration同样指的是次数，iteration = 10 指的是把整个数据集分成10次扔进神经网络。

Example

Q： 如果你有100个训练数据，epoch = 10, batch size = 5, iteration = ?

A : iteration = 总共100 个数据/每次5个数据 = 20 次

也就是说，你要把100个数据集扔进神经网络训练10次，每次（每个epoch）你要把100个数据集分成20份，每份数据为5个（batch size=5），所以你需要投入20次（iteration）来完成一个epoch。

这就好像我们人吃饭，假设每天食物摄入量是固定的（数据总量，也就是一个epoch），我们可以少吃多餐，这种情况下无论是每天吃5餐还是10餐（即iteration），其实不是那么重要，因为这种情况下每餐吃的都是比较少的，没什么负担。

但如果你一餐就要把一天的量都给干了，那就可能吃撑了，或者吃吐了，这时候吃不吃得下，就取决于对你的胃容量（GPUmemory，显存）的大小。

 

参考原文：快速搞定 epoch, batch, iteration - 知乎 (zhihu.com)