caffe的一些自定义层以及一些参数说明

pooling层的ceil_mode

使用官方版本caffe跑DenseNet时出现报错：Message type “caffe.PoolingParameter” has no field named “ceil_mode”.

原因是官方版本的caffe（可能是旧版本的关系）的pooling层的参数没有“ceil_mode”，需要修改与pooling层有关的文件。

具体解决办法参考：

https://blog.youkuaiyun.com/u012273127/article/details/78701161

 

PSANet自定义的操作

因为PSANet沿用了PSPNet的一些代码，PSPNet对caffe中的Interp层做了修改，具体修改办法参考：

https://www.cnblogs.com/wmr95/p/8715607.html

 

iter_size与batch_size的关系

对于caffe来说，solver.prototxt中的iter_size的确是一个计算batch_size的重要参数，caffe在训练过程中的batch_size (真正的batch_size) = iter_size x batch_size (model中定义的batch_size)。

https://blog.youkuaiyun.com/yeler082/article/details/83278371

https://blog.youkuaiyun.com/sudakuang/article/details/52462754

 

max_iter, batch_size, epoch三者的关系

iteration： 数据进行一次前向-后向的训练 
batchsize：每次迭代训练图片的数量 
epoch：1个epoch就是将所有的训练图像全部通过网络训练一次 
例如：假如有1280000张图片，batchsize=256，则1个epoch需要1280000/256=5000次iteration 
它的max-iteration=450000，则共有450000/5000=90个epoch 
而lr什么时候衰减与stepsize有关，减少多少与gamma有关，即:若stepsize=500, base_lr=0.01, gamma=0.1,则当迭代到第一个500次时，lr第一次衰减，衰减后的lr=lr*gamma=0.01*0.1=0.001,以后重复该过程，所以 
stepsize是lr的衰减步长，gamma是lr的衰减系数。 

https://www.cnblogs.com/hust-yingjie/p/6552744.html

 

caffe中的lr_policy以及相应的学习率变化曲线

https://blog.youkuaiyun.com/zong596568821xp/article/details/80917387

 

caffe中Adam的参数设置及原理

https://blog.youkuaiyun.com/u010039305/article/details/81606120

https://blog.youkuaiyun.com/csuhoward/article/details/53255918