如何对深度学习模型进行在线更新，迁移学习

目标：学到新数据特征的同时，保持旧网络固有的性能，避免“灾难性遗忘”，
增量学习，迁移学习的一种。
Transferability
（1）仅微调最后一层（也称为特征提取）（ft-last）; （2）微调 N 的所有层（ft-full）; （3）与ft-full相同，但冻结批处理标准化层的参数 - 在某些情况下，这已被证明是有益的 - 我们将此选项称为ft-full-bn-off。图3中的结果显示了一些有趣的现象。首先，如预期的那样，特征提取（ft-last）不如微调整个网络。其次，通常从头开始的训练是最有利的选择。