读论文《FedGS: Federated Gradient Scaling for Heterogeneous Medical Image Segmentation》-优快云博客

论文题目：

FedGS:用于异构医学图像分割的联邦梯度缩放

项目地址：GitHub - Trustworthy-AI-UU-NKI/Federated-Learning-Disentanglement

论文讨论了一种新的联邦学习（FL）聚合方法，名为Federated Gradient Scaling（FedGS），用于异构医学图像分割任务。

摘要

深度学习（DL）中的联邦学习（FL）自动化医学图像分割功能可在不共享患者数据的情况下启用协作式模型训练，从而帮助保护隐私。然而，联邦学习面临着机构间数据异质性的挑战，导致全球模型次优。在联邦学习中集成分离表示学习（DRL）可以通过将数据分离为不同的表示来增强鲁棒性。现有的 DRL 方法假设异质性仅存在于风格特征中，而忽略了基于内容的变异性，如病变大小和形状。我们提出了 FedGS，一种新型的 FL 聚合方法，旨在提高对小型、代表性不足的目标的分割性能，同时保持整体功效。在 PolypGen 和 LiTS 数据集中，FedGS 表现出优于 FedAvg 的性能，特别是对于小病变。

1. 引言

论文首先指出，深度学习（DL）自动化医学图像分割领域开始转向联邦学习（FL）范式，主要是为了满足严格的隐私标准。
FL通过交替进行本地计算和周期性通信，实现协作模型训练，而无需共享患者数据。

2. 方法论

FedGS概述：FedGS受FedNova启发，通过规范化本地梯度来解决由于不同客户端样本大小导致的迭代次数不一致问题。FedGS旨在通过缩放来自困难样本（例如小病变）的梯度来增强对挑战性目标的分割性能。
FedGS流程：每个客户端维护累积梯度，服务器根据每个客户端完成的迭代次数进行加权平均，以获得聚合累积梯度。然后，服务器使用这个聚合梯度更新全局模型参数。

3. FedGS的关键步骤

更新累积梯度：客户端在完成训练轮后，服务器将聚合K个客户端的累积梯度。
计算难度因子：基于训练批次中输入图像的分割难度估计ηt。如果批次包含至少一个小病变的图像，则ηt > 1。
小病变分类和难度估计：使用训练批次中每个图像的掩码来确定难度因子δx，如果掩码的相对面积小于预定义阈值τ，则认为包含小病变。

绘制以逆面积a^−1为输入的图像的难度因子δx。此外，图中还显示了来自polygen的五张包含小息肉的图像。这些图像在其总掩膜区域内变化很大，从而说明了根据a - 1估计的难度如何变化。

4. 实验

模型架构：应用FedGS于两个深度学习模型的FL训练中，UTNet和SD-UTNet。
数据集：使用了两个公共数据集PolypGen和LiTS进行实验。
训练设置：对于PolypGen，进行了5折交叉验证；对于LiTS，由于时间和计算限制，没有进行交叉验证，但测试集的大小提供了代表性结果。
结果：使用Dice分数评估模型性能，FedGS在小病变（DiceS）上普遍提高了性能，对于较大的病变（DiceL）和总体Dice，FedGS的性能与FedAvg相当或略好或略差。