16、HBMD - FL：基于区块链和模型蒸馏的联邦学习算法

HBMD - FL：基于区块链和模型蒸馏的联邦学习算法

1. 引言

在联邦学习的发展过程中，面临着诸多挑战，如异构模型难以在中央服务器聚合、单点故障问题以及中毒攻击问题等。为解决这些问题，提出了 HBMD - FL 算法，它结合了区块链和模型蒸馏技术，在联邦学习中展现出独特的优势。

2. 相关工作

2.1 联邦学习

联邦学习由 McMahan 等人提出，采用联邦平均算法（FedAVG）训练强大的全局模型，同时将参与者的数据保留在本地，避免了传统集中式机器学习上传私人数据到中央服务器导致的隐私泄露问题。然而，联邦学习的发展面临非独立同分布（non - IID）问题，因为在实际场景中参与者的数据分布并非独立同分布。为克服这一问题，不同学者提出了多种解决方案：
- Wang 等人修改模型共享方式，按层共享全局模型以解决异构性问题。
- Li 等人引入模型比较损失并纠正局部训练更新方向，改善了异构数据下的结果。
- Wu 等人提出个性化联邦学习框架 PerFit，用于解决物联网环境中的异构性问题。
- Fallah 等人借鉴 MAML 思想，寻找初始共享模型，使参与者能通过少量梯度下降适应私有数据。
- Arivazhagan 等人提出 FedPer，仅改变个性化层，冻结本地设备的基础层。

2.2 模型蒸馏

与优化全局模型以在 non - IID 环境中更好地进行联邦学习的工作不同，另一种解决 non - IID 问题的自然方法是为每个参与者训练独特的模型。自 Hinton 提出知识蒸馏概念以来，学生模型通过教师模型生成的软标签获得比直接使用硬标签更好的性能。以下是一