9、深度学习中的数据处理与模型训练策略

深度学习中的数据处理与模型训练策略

1. 迁移学习与从头训练的选择

在进行深度学习模型训练时，一个关键的决策是选择迁移学习还是从头开始训练模型。这一决策主要取决于两个重要因素：数据集的大小以及数据集与预训练卷积神经网络（通常在 ImageNet 上训练）所使用数据集的相似度。

1.1 决策因素分析

数据集情况	数据集大小	与原数据集相似度	建议策略
情况一	小	相似	将预训练网络作为特征提取器，在提取的特征上训练简单的机器学习分类器，从网络更深层提取特征
情况二	大	相似	进行微调，因为已有足够数据避免过拟合，且网络滤波器可能已有足够判别力
情况三	小	不同	应用特征提取，使用网络较低层作为特征提取器，避免深层的抽象
情况四	大	不同	进行两组实验，先尝试微调预训练网络，再从头训练新模型