深度学习之模型finetuning

1.先说明finetuning在什么情况下使用

-- 借用cs231n课程的图，当数据量较小时，运用深度学习这一神器很可能会出现过拟合的现象，但是又想运用训练的灰常好的如VGGNet、GoogleNet等预训练模型时，可以只对于网络最后面的几层进行重新训练，对于神经网络的底层，因为它充分的在大数据集上进行了基础特征的提取如：颜色、边框等，依旧可以在我们的数据集合上进行运用。当然在进行fine-tuning时，不要盲目的选择预训练模型，可以根据你的数据量、图片数据的特征等（如下表格所示）选择合适的、接近你数据的预训练模型，并且选择合适的需要进行较大重新训练的层和基本不用动的层。

2.具体的fine-tuning流程参加下面的链接，写得非常好。

http://www.cnblogs.com/xuanyuyt/p/6062204.html

补充说明：在网络文件中还可以具体修改 lr_mult: 2  实现对于不同层的学习率设置，在solver文件中是对于整个网络基础学习率的设置。

3.batch_size的设置

http://blog.youkuaiyun.com/ycheng_sjtu/article/details/49804041

4. 预训练模型zoo

https://github.com/BVLC/caffe/wiki/Model-Zoo