联邦学习——基于知识蒸馏的多源域适应

《KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation》是一篇被ICML 2021接收的论文，论文作者来自浙江大学CAD&CG国家重点实验室。这篇文章提出一个对来自多个源域的模型进行知识蒸馏来构建可迁移的共识知识，并可应用于联邦学习的无监督多源域适应方法。

简介

传统的无监督多源域适应UMDA（Unsupervised Multi-source Domain Adaptation）假设所有源域数据都可以直接访问。然而，隐私保护政策要求所有数据和计算都必须在本地进行，这对域适应方法提出了三个挑战：
首先，最小化域间距离需获取源域和目标域的数据并进行成对计算，而在隐私保护要求下，源域数据本地存储、不可访问。
其次**，通信成本和隐私安全限制了现有域适应方法的应用。
最后，由于无法鉴别源域数据质量，更易出现不相关或恶意源域**，从而导致负迁移。
为解决上述问题，该文章提出一种满足隐私保护要求的去中心化无监督域适应范式，称为基于知识蒸馏的去中心化域适应KD3A（Knowledge Distillation based Decentralized Domain Adaptation），通过对来自多个源域的模型进行知识蒸馏来构建可迁移的共识知识。大量实验表明，KD3A显著优于其他域适应方法。此外，与其他去中心化的域适应方法相比，KD3A 对负迁移具有鲁棒性，并可将通信成本降低100倍。

UMDA的相关研究即不足

UMDA通过减小源域$D_S$和目标域$D_T$之间的H-divergence来建立可迁移特征。maximum mean discrepancy （MMD）和对抗训练是实现H-divergence的优化策略的两种主流范式。此外，知识蒸馏也被用于模型上的知识迁移。
基于MMD的各种方法都需要对来自源域和目标域的数据进行成对计算，这在去中心化约束下是不允许的。
对抗训练要求完成每个batch的训练后，每个源域都要与目标域交换和更新模型参数，这会产生巨大的通信代价。
由于不相关和恶意源域，应用于域适应中的传统的知识蒸馏策略可能无法获得正确的知识。

KD3A技术框架

该文章提出了一种解决上述问题的方法——Knowledge Distillation based Decentralized Domain Adaptation (KD3A)，旨在通过对来自不同源领域的模型进行知识蒸馏来实现去中心化的域适应。
KD3A通过串联使用三个组件组成。
首先提出一种多源知识提取方法——Knowledge Vote，以获得高质量的域间共识知识。
第二，根据不同域的共识知识的质量，设计了一种动态加权策略Consensus Focus来识别恶意和无关的源域。
最后给出了一种对H-divergence的去中心化优化策略——BatchNorm MMD。并从理论角度分析了KD3A的去中心化泛化边界。
框架中提到的共识知识是什么，共识知识的质量怎么定义，具体权重要怎么给？别急，继续看下面的技术细节。

KD3A技术细节

$D_S$和$D_T$分别代表源域和目标域，在UMDA中，设置k个源域{ $D_S^k$}${}_{k=1}^k$，每个源域包括$N_K$个已标注样本：$D_S^k$:={ $x_i^k$,$y_i^k$}${}_{i=1}^{N_k}$。目标域$D_T$具有$N_T$个无标注样本：$D_T$:={ $x_i^T$}${}_{i=1}^{N_T}$。
UMDA的目标是学习一个模型h，该模型能最小化$D_T$的任务风险${\epsilon }_{D_T}$，${\epsilon }_{D_T}$定义如下：

一、利用共识知识扩展源域

考虑一个C-way分类任务，并假设目标域与源域的任务相同。
假设k个源域上的k个完全训练模型为{ $h_S^k$