caffe中solver.prototxt参数分析

最新推荐文章于 2020-01-16 19:43:06 发布

原创最新推荐文章于 2020-01-16 19:43:06 发布 · 435 阅读

3 ·

CC 4.0 BY-SA版权

caffe 专栏收录该内容

4 篇文章

订阅专栏

本文参考相关链接，介绍使用caffe训练网络时，需根据训练集规模修改solver文件参数。先解释了epoch、batch、batch_size、迭代等概念，接着分析具体参数意义，包括test_interval、max_iter、test_iter的计算方法，以及学习率变化规律中stepsize的计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文主要参考链接 https://www.cnblogs.com/Allen-rg/p/5795867.html 原文作者写的很详尽。
使用caffe训练网络时，通常需要根据自己的训练集规模修改solver文件中的参数。先来了解几个概念：
1、epoch
当一个完整的数据集通过神经网络一次并返回一次的过程，称为一个epoch。
2、batch
数据集不可能一次全部通过神经网络，就需要将数据集分成几个batch。
3、batch_size
每个batch中的样本数量。若训练集样本总数为32000，则batch的数量*batch_size = 32000，即若神经网络中设置batch_size为64，则batch数量即为500。
4、迭代
迭代是batch需要完成一个epoch的次数，在一个epoch中，batch数和迭代数是相等的。若训练集样本总数为32000，分成500个batch，每个batch的batch_size为64，则完成一个epoch的迭代次数iteration=总样本数/每个batch的大小=32000/64=500。

####参数含义#############

net: "examples/VGG/train_val.prototxt"   #训练或者测试配置文件
test_iter: 375   #完成一次测试需要的迭代次数
test_interval: 500  #测试间隔
base_lr: 0.001  #基础学习率
lr_policy: "step"  #学习率变化规律
gamma: 0.1  #学习率变化指数
stepsize: 12500  #学习率变化频率
display: 20  #屏幕显示间隔
max_iter: 50000 #最大迭代次数
momentum: 0.9 #动量
weight_decay: 0.0005 #权重衰减
snapshot: 25000 #保存模型间隔
snapshot_prefix: "models/VGG/VGG_train" #保存模型的前缀
solver_mode: GPU #是否使用GPU

下面来分析一下具体的参数意义：
假设一个数据集中训练集的样本数是32000，测试机样本数是6000，则
（1）训练集样本数32000，batch_size:64
将所有训练集样本在神经网络中处理一遍，即一个epoch，需要：32000/32=500次迭代才能完成，这里就可以把test_interval设置为500，即处理完一次所有训练数据后，才去进行测试，所以这个数要设置的大于等于500。
若想训练100个epoch，则设置max_iter=100*500=50000。

总结：test_interval = 训练集总样本数 / 训练集batch_size
max_iter = 需要训练的epoch数 * test_interval

（2）测试集样本数6000，batch_size:16
同上面，若想将测试集全部测试一遍，则test_iter=6000/16=375，同样这个数要设置的大于等于375
总结：test_iter = 测试集总样本数 / 测试集batch_size

（3）学习率变化规律
总共迭代50000次，若想在训练时将学习率变化4次，则stepsize=50000/4=12500，即每迭代12500次降低一次学习率。
总结：stepsize = max_iter / 学习率变化次数