cnn常用参数记录

最新推荐文章于 2024-06-25 23:51:37 发布

十分耕耘一分收获

最新推荐文章于 2024-06-25 23:51:37 发布

阅读量822

点赞数

分类专栏： caffe

caffe 专栏收录该内容

19 篇文章

订阅专栏

本文详细解释了机器学习中epoch、batch_size和iteration的概念及其相互关系，帮助读者更好地理解这些基本参数如何影响模型训练过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

转载地址：http://www.cnblogs.com/lutingting/p/5252589.html

1. epoch

在代码中经常见到n_epochs这个参数，该参数到底是什么意思呢？答案如下：

在一个epoch中，所有训练集数据使用一次

one epoch = one forward pass and one backward pass of all the training examples

2. batch_size

一般情况下，一个训练集中会有大量的samples，为了提高训练速度，会将整个training set分为n_batch组，每组包含batch_size个samples

即：整个数据集samples个数 = batch_size * n_batch

batch size = the number of training examples in one forward/backward pass. The higher the batch size, the more memory space you'll need.

3. iterations

看到iteration和epoch这两个参数，很是困惑，总是分不清楚它们之间到底什么区别，这两个参数是完全不同的概念

每次iteration进行的工作为：利用某个batch的samples对model进行训练

number of iterations = number of passes, each pass using [batch size] number of examples. To be clear, one pass = one forward pass + one backward pass (we do not count the forward pass and backward pass as two different passes)

具体地

# epoch个数
n_epochs = 100
# 样本总个数
numSamples = 100 000
# 要将样本分割为n_batch组
n_batch = 10
# 每个batch包含的samples
batch_size = numSamples / n_batch 
# 尅是进行训练
iterations = 0
for i in range(n_epochs ):
    for j in range (n_batch):
       #利用第j组batch进行training
       train (j) 
       # iterations个数加1
       iterations = iterations  +1

可见：iterations = epoch * n_batch

即，每个epoch进行n_batch次training，每次training，利用batch_size个samples