【论文阅读笔记】医学多模态新数据集-Large-scale Long-tailed Disease Diagnosis on Radiology Images

寸先生的牛马庄园

已于 2024-01-16 10:20:41 修改

阅读量3.5k

点赞数 25

CC 4.0 BY-SA版权

分类专栏：深度学习多模态与缺失模态数据集文章标签：论文阅读笔记

于 2024-01-05 09:38:10 首次发布

本文链接：https://blog.youkuaiyun.com/cskywit/article/details/135401693

这是上海交通大学2023.12.28开放出来的数据集和论文，感觉很宝藏，稍微将阅读过程记录一下。

Zheng Q, Zhao W, Wu C, et al. Large-scale Long-tailed Disease Diagnosis on Radiology Images[J]. arXiv preprint arXiv:2312.16151, 2023.

项目主页：https://qiaoyu-zheng.github.io/RP3D-Diag/

代码：https://github.com/qiaoyu-zheng/RP3D-Diag

数据集：https://huggingface.co/datasets/QiaoyuZheng/RP3D-DiagDS

【论文概述】

医学图像新数据集！放射图像上的大规模长尾疾病诊断。

本文的目标是研究放射图像的大规模、大词汇量疾病分类问题，该分类可以表述为多模式、多解剖学、多标签、长尾分类。主要贡献有三个方面：

在数据集构建方面，建立了一个学术上可访问的大规模诊断数据集，其中包含与 930 个独特的 ICD-10-CM 代码相关的 5568 种疾病，包含 39,026 例（192,675 次扫描）。
在模型设计上，提出了一种新颖的架构，能够处理来自各种成像模态的任意数量的输入扫描，并通过知识增强进行训练，以利用丰富的领域知识；
在评估方面，建立了多模态多解剖长尾诊断的新基准。方法显示出优异的结果。此外，最终模型作为预训练模型，可以进行微调以有利于对各种外部数据集的诊断。

【引言部分】

引言部分主要讨论了以下内容：

放射学技术的革命性作用：论文开头提到，X射线、CT、MRI和超声波等放射学技术极大地改变了医学领域，提供了一种非侵入性且深入的方式来诊断和管理疾病。这些技术，结合人工智能（AI），正处于一个新时代的前沿。
医学诊断模型的发展：目前的医学诊断模型主要分为两类：专家模型和通用医学人工智能（GMAI）模型。专家模型在识别和管理各种疾病方面已取得成功，但它们通常只针对特定的疾病类别和解剖区域，限制了它们在真实临床环境中处理多样化和复杂病例的能力。另一方面，GMAI模型旨在整合来自不同来源的数据，如各种成像方法、患者病史和最新医疗研究，以提供更全面的诊断和治疗方案。但GMAI模型的发展面临着诸如需要大量计算能力、精心策划的多模态数据集、以及处理极不平衡的数据分布和领域专业知识等挑战。
**评估过程：**作者进行了一系列消融研究，以测试不同训练配置的有效性，例如视觉骨干网络（如ViT或ResNet）、增强实施策略，以及3D输入体积的深度。随后，他们在提出的多模态、多扫描、长尾、多标签诊断基准上评估了模型，并证明了所提出方法的优越性。此外，训练后的模型显示出强大的迁移能力。通过微调，该模型能够提升多个外部数据集的性能，无论这些数据集的图像尺寸、成像方式和成像解剖部位如何。
本文的目标和贡献：本文的目标是考虑放射学图像的大规模、大词汇量的疾病分类问题，这标志着从专家模型向通用模型的过渡。与现有的专家模型相比，本研究旨在开发一个计算模型，能够处理多模态、多解剖部位和多标签疾病诊断，尤其是在极不平衡的数据分布情况下。与通用模型相比，本研究提供了一个更可行和有针对性的场地，用于在学术实验室探索复杂算法，并提供了详细的错误分析机会。总体来说，本文的贡献包括三个方面：一个大规模开放数据集及其构建流程、初步的模型架构探索和一个评估基准。