唯一晴天-优快云博客

原创 Knowledge distillation comprehensive survey

利用教师-学生体系结构的知识提炼的自然特性，知识提炼被用作解决对抗性攻击或深度模型的扰动的有效策略（Papernot等人，2016年;罗斯和多希-贝莱斯，2018年;Goldblum等人，2020年;Gil等人，2019）以及具体而言，敌对样本的扰动可以通过蒸馏由教师网络的稳健输出克服（Ross和Doshi-Velez，2018;Papernot等人，2016年）。当然，知识提炼还有其他特别有趣的应用，例如神经体系结构搜索（Macko等，2019年;

2023-03-28 19:11:08 422

原创 Communication-Efficient On-Device Machine Learning- Federated Distillation and Augmentation under ..

本文思想是通过(FAug) 增强数据使得每一个客户端的数据达到独立同分布，再通过(FD)来减少通信成本。由非独立同分布数据造成降低的精确度可以通过交换数据样本来部分恢复。联邦增强(FAUG)，一种使用生成对抗网络(GAN)的数据增强方案，。训练后的GAN授权每个设备本地再现所有设备的数据样本，从而使训练数据集成为IID。

2023-03-27 17:24:40 630

原创 Preservation of the Global Knowledge by Not-TrueSelf Knowledge Distillation in Federated Learning

这里，Λ >= 1 测量局部函数的梯度方向相对于全局函数 f 的对齐。注意，随着局部函数梯度多个的方向变得相似，Λ 变小。例如，如果的向量大小（范数）是固定的，当多个的方向相同时得到最小的Λ。

2023-03-08 15:40:06 1261 3

原创 FedDTG:Federated Data-Free Knowledge Distillation via Three-PlayerGenerative Adversarial Networks

FedDTG中客户端之间的信息传递主要来自两个部分：第一部分是全局生成器G，包括在局部对抗训练阶段和联邦蒸馏阶段对生成的图像进行正确分类;另一部分是从服务器接收到的其他客户端的软标签的平均值，即联邦蒸馏阶段的相互蒸馏。

2023-03-02 21:19:17 463

原创 Data-Free Knowledge Distillation for Heterogeneous Federated Learning

在联邦学习中使用知识蒸馏，这种方法依赖于代理数据集，因此除非满足这样的先决条件，否则是不切实际的。此外，仅从用户模型的预测规则导出的生成模型FEDGEN收益：1.它从用户那里提取知识，而这些知识在模型平均后会得到缓解，而不依赖于任何外部数据。2.我们的方法使用所提取的知识直接调节局部模型更新。3.我们表明，这样的知识强加了一个归纳偏向局部模型，导致在非iid数据分布下更好的泛化性能。

2023-03-02 17:15:46 1519 4