机器学习：self-paced 和 fine-tuning

最新推荐文章于 2024-10-05 20:41:29 发布

ZwaterZ

最新推荐文章于 2024-10-05 20:41:29 发布

阅读量819

点赞数

文章标签：机器学习深度学习 cnn

本文链接：https://blog.youkuaiyun.com/ZwaterZ/article/details/125717009

版权

文章转载自：
原文链接：https://blog.youkuaiyun.com/weixin_42137700/article/details/82107208
原文链接：https://blog.youkuaiyun.com/bear_kai/article/details/77771127

fine-tuning

在实践中，由于数据集不够大，很少有人从头开始训练网络。常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。

以下是常见的两类迁移学习场景：

1 卷积网络当做特征提取器。使用在ImageNet上预训练的网络，去掉最后的全连接层，剩余部分当做特征提取器（例如AlexNet在最后分类器前，是4096维的特征向量）。这样提取的特征叫做CNN codes。得到这样的特征后，可以使用线性分类器（Liner SVM、Softmax等）来分类图像。

2 Fine-tuning卷积网络。替换掉网络的输入层（数据），使用新的数据继续训练。Fine-tune时可以选择fine-tune全部层或部分层。通常，前面的层提取的是图像的通用特征（generic features）（例如边缘检测，色彩检测），这些特征对许多任务都有用。后面的层提取的是与特定类别有关的特征，因此fine-tune时常常只需要Fine-tuning后面的层。