联邦学习小白

联邦持续学习的目的联邦持续学习意在将联邦学习和持续学习相结合，以解决 “每个客户端从私有本地数据流中学习一系列任务，不同客户端之间也可以互相借鉴彼此已有的知识以增强自身的学习效果” 的场景，目前这方面的研究还很少。联邦持续学习的挑战和持续学习类似的，联邦持续学习也面临“灾难性遗忘”；此外，由于不同客户端训练的任务可能存在很大的差别，联邦持续学习训练过程中每个客户端还面临“来自其他客户端的干扰”；再者，由于每个客户端都希望能从其他客户端的相似任务中获得共识知识，“通信代价”也成为了一个不可忽视的问题。

持续学习的概念“持续学习”的概念其实非常好理解，正如我们先后学习高数和线代，我们希望在学习线代的时候仍能够记住之前学的高数内容，同时用高数的思想来帮助理解和学习线代，这就是一种持续学习的能力。那我们也希望神经网络可以跟人一样具备这种能力，对多个任务不断学习，而不是再为每个任务训练一个网络。这种能力概括起来就是以下两点：可塑性（学习新知识的能力）：应用从之前任务学习到的经验，以更快更好地学习当前任务；稳定性（旧知识的记忆能力）：学习当前任务时，不会忘记之前已经学会的任务。持续学习面对的挑战然鹅，