读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis》

论文题目：Hi-Net:用于多模态磁共振图像合成的混合融合网络

论文地址：arxiv

项目地址：github

原项目可能在训练的时候汇报version的错，这是因为生成器和辨别器的优化有些逻辑错误，会改的话多加一个生成操作可以解决，项目已复现，看情况是否更新，

大家有问题可以留言

目的：通过融合多模态数据来提高模型性能，特别是在数据质量较差和患者退出频繁，难以为每个患者收集所有模态的情况下。

摘要：

        磁共振成像(MRI)是一种广泛使用的神经成像技术，可以提供不同对比度(即模式)的图像。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和患者频繁退出，收集每个患者的所有模式仍然是一个挑战。医学图像合成是一种有效的解决方案，它从现有的图像中合成缺失的图像。在本文中，我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net)，它学习从多模态源图像(即现有模态)到目标图像(即缺失模态)的映射。在我们的Hi-Net中，使用特定于模态的网络来学习每个单独模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，设计一个多模态合成网络，将潜在表示与每个模态的层次特征紧密结合，作为合成目标图像的生成器。此外，为了有效地利用多模态之间的相关性，提出了一种分层多模态融合策略，其中提出了混合融合块(MFB)自适应加权不同的融合策略(即元素求和、乘积和最大化)。大量的实验表明，该模型优于其他最先进的医学图像合成方法。

引言（Introduction）

• 论文讨论了医学成像在临床应用中的重要性，特别是MRI技术。