读论文《Variable Augmented Network for InvertibleModality Synthesis-Fusion》

可逆模态综合融合的变增广网络

论文地址：arxiv

项目地址：github

这篇论文提出了一种名为iVAN（invertible and variable augmented network）的方法，用于医学图像的合成和融合。以下是方法部分的详细解读：

I. 引言

医学成像在临床应用中扮演着重要角色，但由于成像机制的限制，单一模态的医学图像通常无法提供足够的信息来满足复杂诊断的需求。例如，CT图像可以清晰地显示骨骼和植入物，但不擅长展示软组织；而MRI图像可以提供高分辨率的软组织详细信息，但在拍摄骨骼结构时容易引入伪影。PET图像可以反映血流和代谢变化的功能信息，但空间分辨率通常很低。多模态医学图像合成和融合提供了有效的技术手段来解决这些问题。

II. 预备知识

1. 合成和融合的公式化：

   • 单模态合成：目标是学习一对一的映射，即从源模态图像xx合成目标模态图像yy。
   • 多模态合成和融合：涉及多输入单输出的映射，使用不同模态的互补信息来获得高质量的目标模态图像或融合图像。

2. 可逆神经网络：

   • 传统神经网络通常只关注前向预测过程，不具备逆向推理能力。可逆神经网络（INNs）学习无信息损失的映射，通常由一系列可逆层组成，如仿射耦合层、可逆1x1卷积层和actnorm层。INNs在前向和反向变换中都完全保留信息。

III. 提出的iVAN模型