本文介绍了深度学习在图像处理中的一些关键概念，如微调（fine-tuning）——在预训练网络基础上针对新数据集进行部分或全部层的训练以提升性能。根据新数据集的大小和与原数据集的相似性，选择不同的微调策略。此外，还讨论了crop和warp两种图像处理方法，以及patch、ReLU和Leaky ReLU激活函数的作用。最后，对比了单步（single-shot）和两步（two-stage）目标检测的区别。
1、fine-tuning（https://blog.youkuaiyun.com/weixin_42137700/article/details/82107208）
微调，在预训练的网络下进行微调，什么意思呢？就是当我有一个新的数据集时，希望我的网络能够更好的对我的数据进行预测的时候，就替换掉预训练好的网络模型中的一些数据，对一部分（通常是高层）或者是全部的层进行继续训练。这样得到的网络对我自己的新数据有更好的performance。plus：低层特征是图像的通用特征，而高层特征是与类别有关的特征。
对于这种fine-tuning是如何选择性的进行使用呢？主要存在4种情况：
- 新数据集比较小且和原数据集相似。因为新数据集比较小，如果fine-tune可能会过拟合；又因为新旧数据集类似，我们期望他们高层特征类似，可以使用预训练网络当做特征提取器，用提取的特征训练线性分类器。
- 新数据集大且和原数据集相似。因为新数据集足够大，可以fine-tune整个网络。
- 新数据集小且和原数据集不相似。新数据集小，最好不要fine-tune，和原数据集不类似，最好也不使用高层特征。这时可是使用前面层的特征来训练SVM分类器。
- 新数据集大且和原数据集不相似。因为新数据集足够大，可以重新训练。但是实践中fine-tune预训练模型还是有益的。新数据集足够大，可以fine-tine整个网络。
【注】对于fine-tuning部分，学习率的设定要小于训练时的学习率。原因在于训练好的
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
