17、实时联邦进化神经网络架构搜索与遗传编程超启发式知识迁移

实时联邦进化神经网络架构搜索与遗传编程超启发式知识迁移

1. 实时进化联邦NAS框架

在联邦环境中进行神经网络架构搜索（NAS）面临着诸多挑战，传统的NAS方法并不适用于联邦场景。为了解决这个问题，提出了实时进化联邦NAS框架，通过对主超网和连接的客户端进行采样，使得NAS能够在联邦环境中使用。

1.1 框架步骤

1. 生成子代并训练 ：使用遗传算子生成N个子代选择键，并基于此采样N个子网。将每个子代个体的子网下载到m个随机采样的参与客户端上进行训练，之后服务器收集这m个更新后的子网络用于主模型聚合。
2. 评估与计算 ：将主模型以及所有父代和子代的选择键下载到所有客户端，以评估验证误差和FLOPs。将验证误差和FLOPs上传到服务器，并计算每个个体验证误差的加权平均值。
3. 选择新父代 ：从N个父代和N个子代个体的组合中选择N个最佳个体，为下一代生成N个新的父代。重复这个过程，直到达到最大代数。

1.2 模型聚合问题

由于所有本地训练的子网具有不同的模型结构，该联邦NAS方法的模型平均聚合并不容易。不过，所有m个子模型都从同一个主超网模型中采样，因此可以在平均模型参数之前将它们嵌入到m个超网中。

1.3 稳态进化方法

传统的基于代的多目标进化算法（MOEAs）在每一代都会用子代替换所有父代，导致两代之间的种群变化较大，进化优化不稳定。而稳态MOEAs在创建一个新子代后会立即对整个种群进行重新排序，相对更稳定，两代之间