20、机器学习中的在线、迁移、集成与联邦学习

机器学习中的在线、迁移、集成与联邦学习

1. 机器学习的几种学习方式

1.1 在线学习

在线学习利用现有数据，在需要进行预测之前或最后一次观察之后直接更新模型。它适用于随时间提供观察结果，且观察结果的分布也会随时间变化的问题。因此，模型需要频繁更新以捕捉和利用这些变化。

在线学习常用于处理数据量超过内存容量的情况，学习过程是逐步进行的，例如处理数据流。随机或在线梯度下降法用于拟合人工神经网络就是在线学习的一个例子。在线学习在数据流处理中非常有用，在健康领域有诸多应用。

1.2 迁移学习

迁移学习是先针对一个任务训练模型，然后将部分或整个模型作为起点用于类似任务的学习方式。一种有效的做法是在大型现有数据集上训练任务，再将训练好的模型应用于只有少量训练样本的类似任务。

与多任务学习不同，迁移学习中的任务是按顺序学习的，而多任务学习的目标是通过单个模型同时在所有考虑的任务上取得良好性能。迁移学习对增量训练的模型有益，如深度神经网络。在图像分类中，可先在大量可用图像数据集上训练机器学习模型，然后使用模型权重训练更小、更具体的数据集，如猫狗分类。模型在更广泛任务中学习到的特征，如提取线条和图案，有助于完成新的相关任务。

1.3 集成学习

集成学习是将两个或多个模型拟合到相同数据，并将每个模型的预测结果进行组合的方法。其目标是通过模型集合实现比任何单个模型更好的性能。这需要决定如何创建集成中使用的模型，以及如何最佳地组合集成成员的预测结果。

集成学习是提高可预测性和降低随机学习算法（如人工神经网络）方差的有效方法。常见的集成学习算法包括加权平均、堆叠泛化（堆叠）