16、Caffe库：从设计到训练与评估

Caffe库：从设计到训练与评估

1. Caffe库基础与优化算法设置

Caffe库在深度学习中有着广泛应用。在使用时，一些关键变量需合理设置。例如， clip_gradients 变量用于定义最大范数正则化方法中的阈值。Caffe会在每次快照迭代时，将权重和优化算法的状态存储在 snapshot_prefix 指定的文件夹中，借助这些文件，我们能在训练后加载网络参数，或从特定迭代点恢复训练。

优化算法可在CPU或GPU上执行，通过 solver_mode 变量指定。若有多个显卡， device_id 变量能告知Caffe使用哪块显卡进行计算。 type 字符串变量则决定优化算法的类型，常见的如 “SGD”（小批量梯度下降），Caffe库还实现了Adam、AdaGrad、Nesterov、RMSProp和AdaDelta等其他优化算法。

以下是一个 solver.prototxt 文件的示例：

net: '/tmp/cnn.prototxt'
type: "SGD"
base_lr: 0.01
test_iter: 50;
test_interval: 500;
display: 50
max_iter: 30000
lr_policy: "step"
stepsize: 3000
gamma: 0.98
momentum: 0.9
weight_decay: 0.00001
snapshot: 1000
snapsh