多任务学习之MRI重建(Reconstruction)与超分辨率(Super-Resolution)论文阅读

Task Transformer Network for Joint MRI Reconstruction and Super-Resolution

论文地址：Task Transformer Network for Joint MRI Reconstruction and Super-Resolution
代码：https://github.com/chunmeifeng/T2Net

一、背景与挑战

   磁共振成像（MRI）是一种流行的诊断方式。然而其数据采集过程背后的物理特性使其比其他方法（如计算机断层扫描（CT）或X射线）慢。因此，提高MRI的采集速度是几十年来的一个重要研究目标。MRI的核心问题是速度和图像质量。图像重建和超分辨率是MRI中的两项关键技术。前者通过降低空间采样率来加速MRI，后者通过恢复单个退化的低分辨率（LR）图像来实现高分辨率（HR）图像 。据此许多网络模型被设计出来仅用于执行某一项特定的任务，而忽略了它们之间的相关性。虽然可以通过这种方式获得不错的性能，但可能使那些有助于模型在某些指标上表现得更好的信息被忽略，因为模型太多的注意力只集中在单个任务上。可以同时执行多个任务的网络比一组独立的网络要好得多，因为它可以提供更完整的视觉系统。

二、设想与创新方法

   多任务学习：通过在相关任务之间共享表示，该模型可以更好地推广到原始任务。与标准的单任务学习相比，多任务学习模型可以同时表达共享和特定任务的特征。
提出了一种用于联合MRI重建和超分辨率的端到端任务变换网络（T${}^2$Net），它允许在多个任务之间共享表示和特征传输，以从高度欠采样和退化的MRI数据中获得更高质量、超分辨率和无运动伪影的图像。框架分为两个子分支，其特征表示为查询（Q）和键（K）。具体来说，就是鼓励两个任务之间进行联合特征学习，从而传递准确的任务信息。模型首先使用两个独立的CNN分支来提取特定任务的图像特征。然后根据一个Task Transformer Module来嵌入两个任务之间的相关性。
   贡献：1、首次将transformer引入MRI重建和SR多任务学习，利用一项任务中的知识加快另一项任务中的学习过程，并增加共享互补功能的灵活性；
   2、提出本文模型T²Net，该模型包含两个分支，用于表达特定于任务的特征；以及一个用于传输共享特征的Task Transformer模块。更具体地说，Task Transformer模块包括关联嵌入(Relevance Embedding)、转移注意(Transfer Attention)和软注意(Transfer Attention)，这使得相关任务能够共享视觉特征。
   3、与最先进的MRI重建和超分辨率模型的各种顺序组合相比，该多任务模型产生了更好的结果。

三、模型简介

输入图像处理

  采用二维傅里叶逆变换和二元掩码算子M来选择k空间点的子集来生成输入图像。在MRI超分辨率中，为了获得大小为h/s × w/s（s是比例因子）的LR图像，首先通过使用所需因子截断y的外部部分来降低分辨率，然后对其应用傅里叶逆变换。最后得到的输入的图像是欠采样、退化的MRI数据，其中包含运动伪影和模糊效果。Rec分支的输出是LR无运动伪影的图像，而SR分支的输出是我高质量、超分辨率和无运动伪影的图像。

   T${}^2$Net模型由三部分组成：SR分支