De-Alf的博客

简单回顾MAML。给定一组从底层分布中提取的任务，在MAML中，与传统的监督学习设置相反，目标不是找到一个在预期的所有任务上都表现良好的模型。相反，在MAML中，假设在新任务到达后，有限的计算预算来更新模型，在这个新设置中，寻找一个初始化，它在相对于这个新任务更新后表现良好，可能是通过一个或几个梯度下降步骤。这个公式的优势在于，保持FL的优势还捕获了用户之间的差异，无论是现有用户还是新用户都可以将这个新问题的解决方案作为初始点，并根据自己的数据稍微更新它。

FL中，N客户端训练一个共享模型theta，各有各的数据集D，损失函数l，即最小化所有客户端上的经验损失函数。问题是前提要求iid数据分布，若为non iid则不好。iid: independent identical distribution，独立同分布。理解成所有客户端上的样本服从统一的分布。non iid导致global model无法在所有客户端上进行最小化经验损失。因此采用分组元学习的方法。问题定义后的全局目标如下。分了K组，共N客户端。这篇文章也是一个比较常规的工作。

有类结构，但类之间仍然不完全相同。问题定义很简单：最小化所有类中样本损失之和，之后保证类之间客户端相似度最高。u是一个指示变量，表示i在不在集群c中。有三个变量要学习：类本地模型，客户端本地模型，和集群分配策略。因此采用交替优化策略，固定一个然后解决另一个。算法：每一轮收集local model和cluster model，通过在一批“指示样本”上计算预测结果后，用KL散度判断相似度。之后更新cluster assignment。其实就是K means由于目标是一次梯度下降，所以对损失函数求导。

Clustered Federated Learning: Model-Agnostic Distrib不需要事先指定聚类数量？作为一种 后处理 ，让客户端准确度更高文章很好，行文清晰严谨，让人眼前一亮。数学证明严谨，简洁，巧妙。当然这个工作也是有缺陷的。每一类都要维护一个模型（或者说一个分类的树）

汇总本地模型需要在客户端和中央服务器之间频繁通信大量信息。本文提出了一种新颖、简单和有效的方法，在通信受限制的情况下基于从具有信息更新的客户端收集模型并估计未传递的本地更新来更新中央模型。特别地，通过奥恩斯坦-乌伦贝克过程对模型权重的进展进行建模，我们可以推导出一种选择具有显着权重更新的客户端子集的最佳采样策略。中央服务器仅从所选客户端收集更新的本地模型，并将其与未被选中进行通信的客户端的估计模型更新相结合。

FedCS文章解读

边缘物联网设备需要实时智能决策，但是由于计算资源限制和本地数据限制往往做不到。于是提出一个目标是作为平台的合作学习框架。一个模型首先在一个客户集合上训练，然后在目标边缘节点上快速适应，只用很少的样本。同时也调查了算法的收敛性（温和条件下）和目标节点的适应性能。同时为了对抗脆弱的元学习算法的对抗攻击，又提出了更稳健的版本，基于分布健壮优化，同样分析了收敛性。不同数据集上的实验证明了其有效性。现在的边缘物联网设备很多都要求实时边缘智能，传统送数据到云服务器分析不现实（高延迟高带宽消耗）。