增量学习与在线学习

0. 机器学习

0.1 机器学习工作流的9个阶段

（1）模型需求

（2）数据收集

（3）数据清洗

（4）数据标注

（5）特征工程

（6）模型训练

（7）模型评估

（8）模型部署

（9）模型监控

1. 增量学习

        学得模型后，再接收到训练样例时，仅需根据新样例对模型进行更新，不必重新训练整个模型，并且之前学得的有效信息不会被冲掉。

2. 在线学习

        每获得一个新样本就进行一次模型更新。显然，在线学习时增量学习的特例，而增量学习可视为“批模式”的在线学习。

3. 迁移学习

3.1 原理

        Transfer Learning 将从源数据集学到的知识迁移到目标数据集上。虽然ImageNet数据集的图像大多跟XX无关，但在该数据集上训练的模型可以抽取较通用的图像特征，从而能够帮助识别边缘、纹理、形状和物体组成等，这些类似的特征对于识别XX也可能同样有效。

3.2 微调 Fine Tuning

微调是迁移学习的一种常用学习技术。其步骤如下：

1. 在源数据集上预训练一个NN模型，即源模型；
2. 创建一个目标模型(新的NN模型)，它复制了源模型上除了输出层外所有的模型设计及其参数。

3. 为目标模型添加一个输出大小为目标数据集类别个