三分钟了解深度学习中的epochs

最新推荐文章于 2024-07-25 09:54:11 发布

原创最新推荐文章于 2024-07-25 09:54:11 发布 · 8.1k 阅读

37 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

文章讲述了Epochs在神经网络训练中的重要性，它定义了数据集完整遍历一次的次数。合适的Epoch数需在充分训练与防止过拟合间取得平衡。每Epoch包括多次前向传播和反向传播，通过调整batchsize影响训练效率。

Epochs是神经网络训练过程中的一个重要超参数，定义为向前和向后传播中所有批次的单次训练迭代。简单说，一个Epoch是将所有的数据输入网络完成一次向前计算及反向传播。在训练过程中，数据会被“轮”多少次，即应当完整遍历数据集多少次（一次为一个Epoch）。如果Epoch数量太少，网络有可能发生欠拟合（即对于定型数据的学习不够充分）；如果Epoch数量太多，则有可能发生过拟合（即网络对定型数据中的“噪声”而非信号拟合）。所以，选择适当的Epoch数量需要在充分训练和避免过拟合之间找到平衡。

在神经网络训练中，每一次迭代，或者说每一次“步骤”（step）或“批”（batch），我们都会将一小部分数据（也就是一个batch size）送入神经网络进行训练。这个过程被称为一步前向传播（forward pass）。在这个过程中，神经网络会根据输入的数据进行计算，并得出一个预测结果。

然后，我们会根据这个预测结果和实际的数据进行比较，计算出预测错误（或者叫做损失）。这个过程被称为一步反向传播（backward pass），因为在这个过程中，我们是在根据预测错误反向调整神经网络的权重。

一个Epoch（周期）指的是，我们将所有的数据都送入神经网络进行一次完整的向前传播和反向传播的过程。也就是说，一个Epoch代表了所有数据的完整一轮迭代。

假设我们有1000个数据样本，每次我们送入10个数据进行训练（也就是batch size为10）。那么完成一个Epoch，我们需要进行100次迭代（也就是100次前向传播和100次反向传播）。具体来说，我们需要将所有的数据都送入神经网络进行一次前向传播和反向传播，所以一次Epoch相当于所有数据集/batch size=N次迭代。