solver参数

最新推荐文章于 2023-09-11 21:13:47 发布

原创

最新推荐文章于 2023-09-11 21:13:47 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

solver.prototxt是Caffe中定义训练过程的配置文件，它指定优化目标、训练网络、测试网络以及优化算法等。本文介绍了包括SGD、AdaDelta、AdaGrad、Adam、Nesterov和RMSProp在内的6种优化算法，并详细解析了solver参数，如train/test_net、test_iter、test_interval、base_lr、display、max_iter等，帮助理解学习率策略和权重衰减等概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

solver.prototxt

DL的任务中，几乎找不到解析解，所以将其转化为数学中的优化问题。sovler的主要作用就是交替调用前向传导和反向传导 (forward & backward) 来更新神经网络的连接权值，从而达到最小化loss，实际上就是迭代优化算法中的参数。

Caffe的solver类提供了6种优化算法，配置文件中可以通过type关键字设置：

    Stochastic Gradient Descent (type: “SGD”)
    AdaDelta (type: “AdaDelta”)
    Adaptive Gradient (type: “AdaGrad”)
    Adam (type: “Adam”)
    Nesterov’s Accelerated Gradient (type: “Nesterov”)
    RMSprop (type: “RMSProp”)

简单地讲，solver就是一个告诉caffe：你的网络怎么被训练的一个配置文件。
Solver.prototxt 流程

    首先设计好需要优化的对象，以及用于学习的训练网络和测试网络的prototxt文件（通常是train.prototxt和test.prototxt文件）
    通过forward和backward迭代进行优化来更新参数
    定期对网络进行评价
    优化过程中显示模型和solver的状态

在每一次的迭代过程中，solver做了这几步工作：

1、调用forward算法来计算最终的输出值，以及对应的loss

2、调用backward算法来计算每层的梯度

3、根据选用的slover方法，利用梯度进行参数更新

4、记录并保存每次迭

代的学习率、快照，以及对应的状态。

solver参数

train/test_net：训练/测试的模型文件路径。

test_iter：表示网络的测试迭代次数。网络一次迭代将一个batchSize的图片进行测试，所以为了能将validation集中所有图片都测试一次，这个参数乘以TEST的batchSize应该等于validation集中图片总数量。即test_iter*batchSize=val_num。

test_i