Per-FedAVG源码分析总领

data_dataset.py

这段代码定义了两个自定义的PyTorch数据集类：MNISTDataset 和 CIFARDataset。这两个类都继承自PyTorch提供的Dataset类，这使得它们能够与PyTorch的数据加载器一起使用。
MNISTDataset是为MNIST数据集设计的，该数据集包含28x28像素的灰度手写数字图像。CIFARDataset是为CIFAR数据集设计的，该数据集包含32x32像素的彩色图像，分为10个不同的类别（飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车）。
这两个数据集的构造函数和方法都相同，唯一的区别是数据集的名称（这并不影响其功能）。构造函数接受数据子集和目标，或者单独的数据和目标张量。它还接受可选的transform和target_transform函数，这些函数可以在迭代数据集时用于对数据和目标应用变换。
__getitem__方法为给定的索引返回一个数据样本及其相应的目标。如果提供了变换函数，它将应用于数据样本。如果提供了target_transform函数，它将应用于目标。
__len__方法返回数据集中的样本数量。

data_utils.py

这段代码提供了两个函数，get_dataloader 和 get_client_id_indices，用于加载预处理后的联邦学习数据集的数据加载器，以及获取客户端ID的索引。

1. get_dataloader 函数接受数据集名称（“mnist” 或 “cifar”）、客户端ID、批处理大小和验证集比例作为参数。它首先检查是否存在预处理的数据集pickle文件，如果没有，则抛出运行时错误。然后，它加载指定客户端的数据集，并将其随机划分为训练集和验证集。最后，它为训练集和验证集创建数据加载器，并返回它们。
2. get_client_id_indices 函数接受数据集名称作为参数。它加载保存的客户端分离信息（“seperation.pkl”），并返回训练客户端、测试客户端和总客户端数的索引列表。
   这些函数允许在联邦学习设置中为每个客户端加载和分割数据集，以便进行模型训练和验证。使用这些函数，可以轻松地获取每个客户端的数据加载器，以及客户端的索引信息。

data_perprocess.py

这段代码是一个Python脚本，用于预处理MNIST或CIFAR10数据集，以适应联邦学习设置。它随机地为每个客户端分配类别，将数据集分为训练集和测试集，然后将这些数据集保存为磁盘上的pickle文件。它还将客户端数据分布的统计信息保存为JSON文件。
以下是代码的详细说明：

1. 脚本导入了必要的库，包括PyTorch、torchvision和path.py，用于文件系统操作。