qq_33619359的博客

TPAMI2025，说是解决特征偏移问题，但从实验看其他数据异构也一并改善了。文章和题目一样干了特征增强和特征对齐两件事。特征增强部分套了两次高斯拟合，搞得很复杂，没法一句话说清楚。特征对齐部分是截断成直方图，然后双向KL散度。论文：目前好像只有ieee能搜到代码：只找到ICLR2023的会议版本。

首先这篇文章问题分析的很好，从客户端每层输出的差异，发现数据异构对分类层影响是最大的，然后引出用原型重新调整分类层的方法。这篇文章比较老了，NIPS2021的，网上有人分享过，直接贴链接过去看吧。对于单个原型无法表示类别丰富特征的问题，采用高斯分布模拟类别特征分布。个人感觉创新点有两个，

ACMMM 2023, 针对数据异构问题，提出一种跨孤岛原型校准方法 FedCSPC，通过聚类对数据模式进行建模，通过正样本混合和硬负样本挖掘增加样本多样性，对比学习实现跨源特征对齐。建议先读《No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data》，是在这基础上改的。

AAAI2025，特征异构情况下每个客户端的类别原型都不同，学习一个共享特征空间来减轻不平衡数据的影响。对于样本少的类别，假定为高斯分布模仿类别多的样本扩充。目前为空。

NIPS2023，这篇文章首先展示了在统计异质性场景下，客户端上的偏差数据域会导致表示偏差现象，并在本地训练期间通用表示进一步退化。提出了一个域偏差消除器（Domain Bias Eliminator，简称DBE），并证明了理论上界。PS：这篇文章方法可以说很简陋，和代码对不上，虽然我没跑过代码但感觉问题挺大的，不相信能有啥好结果。但是问题分析写的挺好的，可以学习一下。code:其他人分析的直接跳转。

SkS^kSk表示用类别为kkk的样本集，cmkc^k_mcmk​表示第mmm个参与者kkk类样本的原型。原型是各自语义信息的典型，携带特定领域的风格信息，因为原型在不同的领域并不一致（直接理解成高维映射就行）。因此，它激励我们利用来自不同领域的原型来学习可泛化的模型，而不会泄露隐私信息。

TPAMI2023，提出了一种新颖的 FCCL+，即带有非目标蒸馏的联邦相关性和相似性学习，促进了域内可辨别性和域间泛化。对于异构性问题，我们利用不相关的未标记公共数据进行异构参与者之间的通信。我们构建了互相关矩阵并在 logits 和特征级别上对齐实例相似性分布，有效地克服了沟通障碍并提高了泛化能力。对于局部更新阶段的灾难性遗忘，FCCL+ 引入了联邦非目标蒸馏，它在避免优化冲突问题的同时保留了域间知识，通过描述后验类关系充分蒸馏了特权域间信息。

ICCV-2023， 文章提出显式隐式的概念，作者通过实验发现显式比隐式的效果好，显式方式通过直接与多个客户的经验风险互动来更新模型，并用泰勒展开式降为ON通讯成本。

CVPR2022，通过在公开数据集上的logits相似性（同类相近、异类原理）来迁移客户端知识，通过上轮模型和初始模型延缓遗忘。

ICLR 2023，这篇是用变分自编码器做数据生成，传到server端指导解码器训练，然后生成伪数据训练分类器。

arxiv2022，没找到是哪个刊物的，是没投中吗？这篇是用GAN做数据生成，每个client都训练一个生成器，加噪声传到server端聚合，实验是衡量生成图片的质量。code：没找到。

NeurIPS2022，论文原名《A Practical Data-Free Approach to One-shot Federated Learning with Heterogeneity》。文中提出了一种新颖的两阶段无数据一次性联合学习（DENSE）框架，该框架通过数据生成阶段和模型蒸馏阶段来训练全局模型。在第一阶段，利用集成模型（即客户端上传的本地模型的集成）来训练生成器，生成器可以生成用于第二阶段训练的合成数据。在第二阶段，将集成模型的知识提炼为全局模型。

一些方法的动机，

CoRR2020，这篇是结合了OneShot Federated Learning（CoRR2019）和Data Distill（CoRR2018），client端训练出一组合成数据，使得模型每次在真实数据的更新与在合成数据上的更新尽量一致，这组合成数据传输到server端训练全局模型。我主要是想看下如何在FL上做数据蒸馏。code: 没找到。

code: 没找到。

PIMRC2019，code: 没找到。

这篇把DML运用到FL上论文地址：arvixcode: 作者git我们针对三种异质性（DOM）提出了一种新颖的联邦学习范式，称为联邦相互学习（FML）。 首先，FML 处理数据和目标通过使每个客户能够训练个性化模型来实现异质性。 从OH的意义上来说，DH对服务器有害，但对客户端有利，这意味着数据的非独立同分布性不再是一个bug，而是一个可以更好地为客户端服务的特性； 其次，本地个性化模型可以从具有相似但不同任务的 FML 协作训练中受益。 第三，FML允许客户针对各种场景和任务设计自己的定制模型。PS：D

NeurIPS2019，通过一个全局数据集实现知识蒸馏。code: 没找到。

NeurIPS2018，应该是第一篇结合蒸馏和联邦的文章了，所以从这开始看顶会顶刊的文章，希望尽快有自己的想法。文章将通讯传递的模型梯度换成了类别平均logits提升了通讯效率，使用GAN生成图片处理数据异构问题。code: 没找到。