5、基于深度学习的多示踪剂PET成像与多实例神经影像变压器

基于深度学习的多示踪剂PET成像与多实例神经影像变压器

1. 引言

在自然语言处理（NLP）领域广泛应用的基于自注意力机制的Transformer架构，近年来也成功应用于众多计算机视觉（CV）任务，如图像和视频的分类、检测和分割等。然而，磁共振成像（MRI）的分析仍然严重依赖卷积架构。尽管一些研究尝试将卷积神经网络（CNN）的编码器和解码器与Transformer块结合用于医学图像，但之前基于Transformer的MRI研究依赖于CNN编码的MRI表示作为Transformer块的输入，并且涉及复杂的预训练和微调范式。

与CNN相比，无卷积的基于自注意力机制的架构（如Transformer）的关键优势在于，注意力内核在推理时会为输入区域动态计算，而CNN的内核在训练后是固定的。这种动态内核计算能够考虑输入区域的上下文信息，从而大大提高模型的泛化能力。

近期NLP和CV领域的发展表明，借助数据增强和正则化技术，可以从零开始训练无卷积的Transformer。尽管其中一些技术是为三维数据（如点云或视频）开发的，但它们在神经影像中的应用仍有待探索。

本文提出了一种用于三维T1加权（T1w）MRI分类的新型多实例神经影像Transformer（MINiT）架构。首先将标准视觉Transformer模型应用于三维神经影像的使用场景，创建了不同变体的神经影像Transformer（NiT），并通过封装多实例学习（MIL）框架对模型进行扩展。最后将MINiT与其他NiT变体、近期的3D CNN模型以及CNN的MIL实现进行比较，评估其在识别青少年大脑图像数据集性别方面的性能，并可视化注意力图以突出有助于识别性别差异的体素。

2. 方法