读论文《ResViT: Residual vision transformers for multi-modal medical image synthesis》

论文题目：用于多模态医学图像合成的残差视觉transformers 

论文地址：https://arxiv.org/abs/2106.16031

项目地址：github

任务：用于多模态医学图像合成的生成对抗方法，MRI多模态生成

项目以复现，见下一篇博客

摘要

具有卷积神经网络(CNN)主干的生成对抗模型最近在许多医学图像合成任务中被建立为最先进的模型。然而，cnn被设计为使用紧凑过滤器执行局部处理，这种归纳偏差损害了上下文特征的学习。在这里，我们提出了一种新的医学图像合成生成对抗方法，即ResViT，它利用了视觉transformers的上下文敏感性以及卷积算子的精度和对抗学习的真实感。ResViT的生成器采用了一个由新型聚合残差变压器(ART)模块组成的中心瓶颈，该模块协同结合了残差卷积和变压器模块。ART块中的残差连接促进捕获表示的多样性，而信道压缩模块提取任务相关信息。在ART块之间引入了权值共享策略，以减轻计算负担。引入了统一的实现，以避免为不同的源-目标模态配置重新构建单独的综合模型。综合演示了如何在MRI和CT图像中合成缺失序列。我们的结果表明，在定性观察和定量指标方面，ResViT优于竞争对手的基于CNN和变压器的方法。

I. 引言

医学成像在现代医疗保健中起着关键作用，它允许对人体内部的病理进行活体检查。在许多临床场景中，需要多模态协议，涉及多个扫描仪（如 CT、MRI）或单个扫描仪的多次采集（如多对比度 MRI）。然而，由于患者不合作和扫描时间过长等因素，多模态成像并不普遍。因此，研究者们对从现有图像中合成未获取的图像越来越感兴趣