MICCAI2023论文多模态论文速读-1

原创

已于 2023-11-01 11:16:29 修改 · 1.4k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2023-11-01 11:14:26 首次发布

文章探讨了多项创新技术，如注意力深度典型相关分析用于阿尔茨海默病诊断，双向映射和对比学习改善神经退行性疾病预测，以及基于扩散模型的CoLa-Diff和双分支Transformer(DBTrans)在脑肿瘤分割中的应用。这些方法结合了多模态数据和基因信息，提高了疾病识别的准确性和生物标志物发现。

文章目录

1.Attentive Deep Canonical Correlation Analysis for Diagnosing Alzheimer’s Disease Using Multimodal Imaging Genetics

Zhou R, Zhou H, Chen B Y, et al. Attentive Deep Canonical Correlation Analysis for Diagnosing Alzheimer’s Disease Using Multimodal Imaging Genetics[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023: 681-691.

代码开源

本文提出了一种新的模型——注意力深度典型相关分析(ADCCA)，用于诊断阿尔茨海默病。该模型结合了深度神经网络、注意力机制和典型相关分析的优势，以整合和利用多模态脑成像遗传学数据。文章使用了VBM-MRI、FDG-PET和AV45-PET等脑成像模式以及基因SNP数据进行研究，结果表明这种方法可以实现出色的性能，并识别有意义的生物标志物。文章指出，这种方法可以发现与特定基因变异相关的脑区，并可能发现新的多模态生物标志物，影响特定的脑系统，为药物发现提供巨大的推动力。因此，ADCCA模型在阿尔茨海默病的诊断和研究中具有广泛的应用前景。

模型概述

输入模态数据： $X_1, ..., X_4$ ，这些是输入的不同模态的数据，例如图像、文本等。
标签信息： $Y$ ，这是与输入数据相关的标签信息，例如疾病的类别。
深度神经网络（DNNs）：首先对每个模态的数据进行处理，生成每个模态的隐藏表示。
自注意力机制：将这些隐藏表示通过自注意力机制进行处理，生成改进的自注意力表示。
投影矩阵：同时，将隐藏表示和标签 $Y$ 分别与基于CCA（canonical correlation analysis，典型相关分析）的投影矩阵 $U_1,..., U_4, U_y$