Caffe训练过程:test_iter test_interval等概念

先上一张图,大家很熟悉的一张图。


首先说明一个概念:在caffe中的一次迭代iterration指的是一个batch,而不是一张图片。下面就主要说下2个概念

test_iter: 在测试的时候,需要迭代的次数,即test_iter* batchsize(测试集的)=测试集的大小,测试集batchsize可以在prototx文件里设置

test_interval:interval是区间的意思,所有该参数表示:训练的时候,每迭代500次就进行一次测试。

caffe在训练的过程是边训练边测试的。训练过程中每500次迭代(也就是32000个训练样本参与了计算,batchsize为64),计算一次测试误差。计算一次测试误差就需要包含所有的测试图片(这里为10000),这样可以认为在一个epoch里,训练集中的所有样本都遍历以一遍,但测试集的所有样本至少要遍历一次,至于具体要多少次,也许不是整数次,这就要看代码,大致了解下这个过程就可以了。

### 修改 `batch_size` 参数的位置 在不同深度学习框架中,`batch_size` 的设置位置有所不同。以下是几种常见框架中修改 `batch_size` 的方法: #### TensorFlow/Keras 中的 Batch Size 设置 对于 Keras 或者基于 Keras API 的 TensorFlow 模型,在编译模型之后可以通过 `fit()` 方法来指定批量大小。 ```python # 定义并编译模型 model.compile(optimizer='adam', loss='binary_crossentropy') # 训练模型时设定 batch size history = model.fit(x_train, y_train, epochs=10, batch_size=32) ``` 上述代码展示了如何通过调用 `fit()` 函数并将 `batch_size` 设定为 32 来控制每次迭代使用的样本数量[^5]。 #### Caffe 中的 Batch Size 和 Iter Size 配置 而在 Caffe 中,除了可以在网络定义文件 (prototxt) 中直接设置每层的 `batch_size` 外,还可以利用 solver 文件里的 `iter_size` 参数间接调整有效批处理尺寸。具体来说就是将多个 mini-batch 合成一个更大的批次来进行一次更新操作。 ```protobuf net: "path/to/train_net.prototxt" test_iter: 800 test_interval: 500 base_lr: 0.01 momentum: 0.9 weight_decay: 0.0005 lr_policy: "step" gamma: 0.1 stepsize: 100000 display: 20 max_iter: 450000 snapshot: 10000 snapshot_prefix: "snapshots/cifar" solver_mode: GPU iter_size: 4 # 这里设置了 iter_size ``` 这里展示了一个典型的 Caffe 解决器配置示例,其中包含了 `iter_size` 参数用于累积梯度以形成较大的逻辑上的一次更新所对应的批次数目[^1]。 #### PyTorch 数据加载器中的 Batch Size 控制 至于 PyTorch,则是在创建 DataLoader 实例时传入 `batch_size` 参数完成相应设置: ```python from torch.utils.data import DataLoader train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True) for data in train_loader: inputs, labels = data ... ``` 这段 Python 脚本说明了怎样借助 PyTorch 提供的数据加载工具类——DataLoader 来管理训练集,并指定了每个小批量包含多少条记录作为输入给神经网络进行前向传播和反向传播过程的一部分[^4].
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值