深度学习 Fine-tune 技巧总结

最新推荐文章于 2025-04-28 11:00:27 发布

芯光智能

最新推荐文章于 2025-04-28 11:00:27 发布

阅读量1.4w

点赞数 12

CC 4.0 BY-SA版权

分类专栏：深度学习

本文链接：https://blog.youkuaiyun.com/wzhrsh/article/details/99614708

本文总结了深度学习中的迁移学习，特别是微调技巧。介绍了为什么使用迁移学习，包括节省成本、适应小数据集等优点，并详细阐述了三种迁移学习方式：Transfer Learning、Feature Vector Extraction和Fine-tuning。通过实验和不同数据集的应用，探讨了微调的适用场景及注意事项，强调了在微调中选择合适的学习率和调整层的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

迁移学习不是一种算法而是一种机器学习思想，应用到深度学习就是微调（Fine-tune)。通过修改预训练网络模型结构（如修改样本类别输出个数），选择性载入预训练网络模型权重（通常是载入除最后的全连接层的之前所有层，也叫瓶颈层）再用自己的数据集重新训练模型就是微调的基本步骤。微调能够快速训练好一个模型，用相对较小的数据量，还能达到不错的结果。

模型的训练与预测：
深度学习的模型可以划分为训练和预测两个阶段。
训练分为两种策略：一种是白手起家从头搭建模型进行训练，一种是通过预训练模型进行训练。
预测相对简单，直接用已经训练好的模型对数据集进行预测即可。

1.为什么要迁移学习？

1）站在巨人的肩膀上：前人花很大精力训练出来的模型在大概率上会比你自己从零开始搭的模型要强悍，没有必要重复造轮子。
2）训练成本可以很低：如果采用导出特征向量的方法进行迁移学习，后期的训练成本非常低，用CPU都完全无压力，没有深度学习机器也可以做。
3）适用于小数据集：对于数据集本身很小（几千张图片）的情况，从头开始训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越大，过拟合无法避免。这时候如果还想用上大型神经网络的超强特征提取能力，只能靠迁移学习。