34、个性化联邦学习与马尔可夫链参数估计研究

个性化联邦学习与马尔可夫链参数估计研究

1. 个性化联邦学习

1.1 方法概述

在联邦学习中，通过两个编码器构建先验和变分后验，损失函数中的 KL 散度项使客户端提取特征的后验接近全局特征。同时，为克服数据异质性问题，提出了个性化联邦学习变体，即保留分类器最后一层的参数以实现个性化。

1.2 实验设置

1.2.1 数据集

为展示特征分布偏斜问题，实验采用 Digits - Five 数据集，包括 MNIST、SVHN、USPS、Synthetic Digits 和 MNIST - M，这些数据集均包含数字图像，用于多类分类任务。

1.2.2 模型

使用简单的卷积神经网络进行分类，包含三层卷积层（前两层 64 通道，最后一层 128 通道，每层后接批量归一化、2×2 最大池化和 ReLU 激活函数）和三层全连接层（后接批量归一化和 ReLU 激活函数）。对于变分分布，将第三卷积层的通道数加倍，前半部分表示均值，后半部分表示方差，使用重参数化技术生成特征图。

1.2.3 实验配置

各数据集的训练集和测试集数量不同，实验中设置每个客户端的数据量为 7291，在原始测试集上评估模型。将所有数据调整为 28×28 大小，输入通道数设为 3。单站点训练模型训练 50 个 epoch，联邦设置下通信轮数为 50，每轮每个客户端训练一个 epoch。所有实验采用随机梯度下降（SGD）优化器，学习率为 0.01，批量大小为 32。对于 FOLA，先验任务损失的权重因子设为 0.5，提出的 pFedV 的 KL 散度项权重因子也设为 0.5。由于类别相对平衡，使