11、分布式深度学习中的训练顺序漏洞与高效人脸识别考勤管理

分布式深度学习中的训练顺序漏洞与高效人脸识别考勤管理

分布式深度学习训练顺序漏洞分析

在分布式深度学习领域，不同的训练方法和算法在面对客户端训练顺序问题时表现各异。常见的分布式深度学习方法包括联邦学习、分割学习和SplitFed系列算法。

SplitFed算法有SplitFedv1、SplitFedv2和SplitFedv3。在这些算法中，模型架构类似分割学习被划分为多个部分。SplitFedv1和SplitFedv3采用并行训练，而SplitFedv2则是顺序训练。在SplitFedv2中，客户端模型在每个全局轮次结束时进行平均；在SplitFedv3中，服务器端模型在全局轮次结束时进行平均；SplitFedv1则是客户端和服务器端模型都在全局轮次结束时进行平均。

当客户端协作训练深度学习模型时，训练方式可分为顺序训练（一个客户端接着一个客户端训练）和并行训练（所有客户端同时训练）。顺序训练在训练集包含非独立同分布（non-iid）数据源的数据时，可能会导致“遗忘”问题。每次模型被客户端数据更新时，模型参数会向近期看到的数据倾斜，可能会忘记之前客户端训练时学到的内容，导致在相同数据集上的分类性能变差。

在分割学习中，虽然每个客户端有独特的客户端模型，但大部分可训练的模型部分在服务器端，且服务器端模型是顺序训练的，因此也可能出现“遗忘”问题，使得训练周期早期的客户端上模型性能不足。

而在联邦学习中，全局模型是所有客户端本地模型的平均值。当所有客户端的数据样本数量相同时，每个客户端对全局模型最终状态的贡献相同，所以不会出现“遗忘”问题。即使数据样本数量不均衡，每个客户端也会有一定贡献。对于Split-fed方法，SplitFedv2可能也存在