Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning
摘要
- 欠采样(核磁共振图像里面样本分布本身存在不均匀的现象)
- 考虑医院数据存在获取困难的情况,采用联邦学习(绕开数据不能离开本地的限制,通过网络传递参数),不同医院的数据集合存在差异,导致联邦学习效果相对于本地学习来说要更差。
- 提出了一种方法:跨机构的核磁共振图像重建模型,通过该模型将不同机构学习得到的潜在特征分布与目标机构的潜在特征分布对齐。
简介
临床扫描通常涉及使用多种饱和频率和重复获取,需要减少重复获取的次数,加速清晰核磁共振图像的获取(运用高清分辨重建的技术)
过去加速方法
- 各种基于压缩感知(CS)的方法,通过在采集过程中对k空间(k-space讲解)的欠采样来加速MRI采样过程。
- 一些基于深度学习的方法通过直接学习在图像域中从欠采样数据到全采样数据的映射来解决这个问题,也提出了在k空间域中学习映射的方法。
联邦学习
中央机构从每个机构获取参数,聚合一个全局模型并反馈给每个机构。
只传递参数和梯度,而不涉及数据传输。
参考研究
- 通过从局部实体中平均模型参数来学习全局模型。
- FedProx试图解决全局模型的偏差问题。
- 联邦对抗对齐,以缓解图像分类中的域移问题。
- 研究了联邦模型和隐私保护机制中的通信频率的不同方面。
数据特点
本文用了四种数据集,四种数据集本身分布存在着一定的偏移。(本论文是采用不同的数据集来模拟不同的节点,根据我在实际工作中的经验梯度更新还必须要考虑通信,当本地节点某一次迭代的权重在传输过程中损失,全局权重更新应当采取何种策略?)
训练步骤
(1)所有机构都在本地计算梯度,并将本地训练的网络参数发送到服务器。
(2)服务器对来自K个机构上传的参数执行聚合。
(3)服务器向K个机构广播聚合后的参数。
(4)所有机构都使用聚合参数更新各自的模型,并测试更新后的模型的性能。这些机构在中央云服务器的帮助下合作学习机器学习模型。经过足够数量的本地训练和机构与服务器之间的更新交换,可以得到一个全局最优的学习模型。
创新
数据预处理
- 对齐特征,消除域偏移。
- 局部重建网络训练 。
- 将目标域数据的中间潜在特征转移到其他本地源实体。然后训练一个对抗性域标识符来对齐源域和目标域之间的潜在空间分布。(域对抗网络)
图像重建
- 基于联邦学习的磁共振成像重建的方法。直接学习从欠采样数据到全采样数据的映射来解决Mr图像重建问题。(不涉及k-space)
- 公式,x表示欠采样图像,y代表全采样图像, ϵ \epsilon ϵ代表的是噪音。
3.在本地训练的时候只需要最小化如下损失函数即可。
Algorithm
K 代 表 K 个 机 构 K 代表K个机构 K代表K个机