在 2 万病例中识别出 31 例漏诊,阿里达摩院牵头发布「平扫 CT +大模型」筛查胰腺癌...

阿里达摩院PANDA:AI胰腺癌早期筛查模型在大规模数据中取得突破,

ee893abf6bbfee8b61b6e4873bcfd9cd.png

作者:李宝珠

编辑:三羊

阿里达摩院联合国内外十余家医疗机构,发布 PANDA 大模型,实现胰腺癌早期筛查,在 2 万余真实世界连续病人群体中发现了 31 例临床漏诊病变。

尽管医学发展日新月异,但人们还是不免谈「癌」色变。其中,胰腺癌因起病隐匿、生存时间短,尤为棘手,中国疾控中心流行病学首席专家吴尊友、苹果之父乔布斯等人都没能逃脱胰腺癌的「魔掌」。其中,占胰腺癌病例 95% 的胰腺导管腺癌 (pancreatic ductal adenocarcinoma,PDAC) 堪称是所有实体瘤中,致死率最高的癌症类型之一,被称为「癌症之王」。根据 2020 年的数据,PDAC 每年导致约 46.6 万人死亡。

世界卫生组织曾提出,三分之一的癌症可以通过早期发现得到根治。而胰腺癌初期的明显表征少,胰腺又位于身体「深处」、位置隐蔽,腹部超声等基础影像学检查和平扫 CT,由于图像对比度低很难识别早期病变。增强 CT 等影像诊断又因为需要注射造影剂、检查周期长、费用昂贵等原因,不适宜应用于大规模胰腺癌早期筛查。

针对胰腺癌的早筛早治问题,阿里达摩院联合上海市胰腺疾病研究所、浙江大学医学院附属第一医院、中国医科大学附属盛京医院等国内外医疗机构,开发了基于深度学习的胰腺癌人工智能检测 (Pancreatic Cancer Detection with Artificial Intelligence,PANDA),通过「平扫 CT+AI」进行大规模的胰腺癌早期筛查。该研究成果目前已发表于「Nature Medicine」。

f3b1e933269f531d18807d87edbfc7a4.png
该研究成果已发表于「Nature Medicine」

论文地址

https://www.nature.com/articles/s41591-023-02640-w

关注公众号,回复「胰腺癌」下载完整论文。

数据集:包含 5 个患者队列

该研究的数据集包含 5 个患者队列:

  1. 内部训练数据集队列,用于构建 AI 模型;

  2. 内部测试队列,用于评估模型性能;

  3. 外部多中心测试队列,用于评估模型通用性;

  4. 胸部非对比 CT 测试队列,用于评估对胸部 CT 扫描的泛化能力;

  5. 实际临床评估队列,用于评估临床转化问题。

其中,在内部训练队列中,PANDA 在腹部平扫 CT 扫描训练集上进行了训练,该训练集来自上海胰腺疾病研究所 (SIPD) 于 2015 年 1 月至 2020 年 10 月之间收治的 3,208 例患者,研究人员还进行了两年的随访确认。

模型架构:Transformer 识别病变类型 

PANDA (Pancreatic Cancer Detection with Artificial Intelligence) 由 3 个网络阶段级联而成,模型复杂性和任务难度逐渐增加。首先通过构建分割网络 (nnU-Net) 来定位胰腺,进而采用卷积神经网络 (CNN) 来检测异常病变,最后采用双通道 Transformer 来分类并识别胰腺病变的类型。

7a80fd8b475c6db3b4da6f20cb466ca6.png
PANDA 深度学习框架由 3 个阶段组成

第一阶段(图 a),由于胰腺病变在 CT 扫描中只呈现出很小的一个区域,所以胰腺的定位可以加速病变的发现过程,并剔除与胰腺区域专业训练无关的信息。对此,研究人员利用医学影像分割框架 nnU-Net,从输入的非对比 CT 扫描中分割整个胰腺。

第二阶段(图 b),主要是进行病变检测。研究人员从分割网络中提取多层次特征,并构建了卷积神经网络及分类头,以区分平扫 CT 中胰腺病变的细微纹理变化。同时,研究人员对第二阶段的模型进行了调整,使其在训练集的交叉验证中病变检测的特异性达到了 99%,减少假阳性预测。

第三阶段(图 c),主要是对胰腺病变进行鉴别诊断。如果在第二阶段检测到任何异常,则整合辅助记忆 Transformer 来自动编码胰腺病变的特征原型,如局部纹理、位置和胰腺形状,以便更准确地进行细粒度分类。

实验验证:模型表现略优于专业阅片人员

内部测试

在内部测试评估中,研究团队选取了上海市胰腺疾病研究所的 291 例患者,进行病变检测。其中有 108 名胰腺导管腺癌患者、67 名非胰腺导管腺癌患者和 116 名正常对照组。

PANDA 在受试者工作特征曲线 (ROC 曲线) 下的面积 (AUC) 为 0.996(95% 置信区间为 0.991-1.00),灵敏度为 94.9%, 特异性为 100%。对于常见的胰腺导管腺癌亚型,PANDA 的灵敏度为 97.2%,特异性为9 7.3%。对于体积较小的PDAC (直径<2 cm) 检测灵敏度达到了 85.7%。

61242a66997b5586dd0215d3e0e6b9b5.png
内部测试评估及外部测试评估结果

外部测试

在外部多中心测试评估中,研究人员选取了来自中国大陆、中国台湾地区和捷克共和国的 9 个中心共 5,337 例患者。其中,2,737 例胰腺导管腺癌患者,932 例非胰腺导管腺癌患者和 1,668 例正常对照人群。

结果显示,对于胰腺病变,PANDA 的 AUC 值为 0.984,敏感性为 93.3%,特异性为 98.8%;对于 PDAC 亚组,总体检出率为 96.5%。对于病灶较小的 PDAC(直径<2 cm,T1),敏感性为 92.2%。总体而言,PDAC 诊断的敏感性达到了 90.1%,特异性达到了 95.7%。

胸部 CT 检验测试

此外,研究人员还验证了在胸部 CT 上使用 PANDA 检测胰腺病变的可行性。研究人员收集了上海市胰腺疾病研究所 492 名患者的非对比胸部 CT 扫描影像,其中包括 63 名胰腺导管腺癌患者,51 名非胰腺导管腺癌患者和 378 名正常对照患者,作为独立于训练数据的测试队列。

0a0cadc5aca6808f7cc6b750a9120477.png
利用 PANDA 在胸部 CT 上检测胰腺病变

在没有调整任何胸部 CT 扫描的情况下,PANDA 在病变检测方面的灵敏度为 86.0%,特异性为 98.9%。值得一提的是,根据详细的胸部 CT 方案,某些胰腺病变不能完全扫描。研究人员通过参考对比增强腹部 CT 扫描中的病变位置,分析了胸部 CT 中的病变扫描完整性,发现 67% 的胰腺导管腺癌患者和 43% 的非胰腺导管腺癌患者未完全扫描。在 CT 扫描视野未能捕获到胰腺病变的患者中 ,有 75% 的胰腺导管腺癌病例被 PANDA 成功检测到。

临床应用测试

此外,研究团队还进行了两轮临床应用评估,进一步验证了 PANDA 在实际场景中的可用性。

第一轮共选取了 16,420 名患者,评估了 PANDA 的实际临床表现、护理诊断场景变化、患者获益等多方面的效果。

结果显示,在病变检测中,PANDA 的总灵敏度为 84.6%,特异性为 99.5%;在胰腺导管腺癌鉴定方面,PANDA 的总灵敏度为 95.5%,特异性为 99.9%。此外,在体检、急诊、门诊和住院四种场景下,PANDA 对住院患者病变检测的敏感度最高,为 88.6%,PANDA 对体检患者病变检测的特异性最高,为 99.8%。

在第二轮测试评估前,研究人员进行了模型优化,以减少假阳性并扩充之前未观察到的疾病种类。研究人员通过难例挖掘 (hard example mining) 和增量学习 (incremental learning) ,将 PANDA 升级为 PANDA-plus,并进行了第二轮临床应用研究。

本轮评估共纳入 4,110 例患者,结果结果,PANDA-plus 较 PANDA 降低了超过 80% 的假阳性率,胰腺病变检出和胰腺导管腺癌的特异性均达到了 99.9%。同时,PANDA-plus 对急性胰腺炎的检测敏感性也达到了 90.0%。

725807ec5eeb957d9843a225b4368c3a.jpeg
PANDA检测到初始护理标准未检测到的胰腺病变

更重要的是,在包含 20,530 名患者的实际临床研究中,PANDA 检测到了 5 例癌症和 26 例临床漏诊病例,并使一名胰腺神经内分泌肿瘤患者得到了治愈性治疗。

此外,研究团队还联合胰腺成像专家、一般放射科医生和放射科住院医生,进行了实际阅片比对。15 名专业的胰腺成像专家解读了相同 291 例患者的多相增强 CT 扫描,PANDA 在非增强 CT 扫描中的表现略优于专业阅片者使用增强 CT 扫描的平均表现。

达摩院的 AI 医疗版图

达摩院医疗 AI 团队负责人、IEEE Fellow 吕乐在接受媒体采访时表示:「我们的最大创新之处在于,首次证实了在平扫 CT 上使用 AI 进行胰腺癌筛查的可行性,并达到了之前认为可能达不到的高性能。」

此外,论文共同一作、上海市胰腺疾病研究所的曹凯医生认为,「PANDA 将拓宽业内对胰腺癌筛查的认知边界,推动临床治疗的发展。”另一位共同一作、复旦大学附属肿瘤医院放射诊断科的汤伟医生表示,“PANDA 提出了一种有潜力的大规模胰腺癌筛查方法,在提升检出率的同时,又不会给病人带来额外的辐射与经济负担。」

根据达摩院官网给出的数据,PANDA 已在医院、体检等场景被调用超过 50 万次,每 1,000 次只出现一次假阳性。

毫无疑问,这是 AI 与医疗数据双剑合璧之下,对胰腺癌发起的沉重一击,使得早筛早治成为可能。而这也恰恰是医疗 AI 的初心所在。了解达摩院的读者应该知道,其医疗 AI 团队长期致力于 AI 与医疗影像的融合研究。据介绍,达摩院医疗 AI 团队重点布局精准癌症诊疗、精准慢性病诊疗、神经退行性疾病预筛三大方向。

除了 PANDA 外,达摩院还在今年 8 月,联合中山大学肿瘤防治中心、四川省肿瘤医院、浙大附属第一医院、盛京医院、广东省人民医院等单位,提出了一个统一的多癌影像分析通用模型 (cancerUniT),以 Mask Transformer 语义分割为基础,解决多种肿瘤图像此前难以统一检测、分割和诊断的问题,适用于 8 种主流的高发高致死癌症(肺、结直肠、肝、胃、乳腺、食管、胰腺、肾)以及相关器官中的肿瘤子类型。

此前,在达摩院免费开放的 100 件 AI 专利中,就有 3 件是专门针对癌症的精准治疗,应用于「图像引导的放射治疗」、「纵向病灶量化」、「基于图谱的分割以及多模态融合的计算机辅助诊断」。

此外,2022 年 10 月,达摩院还曾联合浙江大学医学院附属第一医院提出了危及器官分层分割模型 (SOARS)。这个自动化且高效的算法系统 SOARS,构建了两个维度的分层深度学习框架,实现 42 个头颈部 OARs 的精准分割。

据悉,达摩院医疗 AI 团队正在联合全球多家顶尖医疗机构,利用 AI 技术探索低廉、高效的多癌筛查新方法,也期待其能够将更多的 AI「黑科技」带入医疗领域。

参考资料:

1.https://mp.weixin.qq.com/s/WhWnkkAFJjAkqGlMTDEx9w

2.https://mp.weixin.qq.com/s/wkNutLLWNHkZByY0QV90pg

3.https://mp.weixin.qq.com/s/_qhIW3OB3qnjs83izKvWBg

 往期推荐 

22255eef67f36d5dbc8f8cb7a2fd5f4a.png

5bdd90275cc8bcf09f68ca616ea39cd9.png

7531a2ced3c2ce8fb69ecfce425de49d.png

5559af750e343095e52a8fe57db27b0d.gif

1ebc108b58c0b45ef6f0f2c13a6a8a01.gif

戳“阅读原文”,免费获取海量数据集资源!

内容概要:本文介绍了一个基于多传感器融合的定位系统设计方案,采用GPS、里程计和电子罗盘作为定位传感器,利用扩展卡尔曼滤波(EKF)算法对多源传感器数据进行融合处理,最终输目标的滤波后位置信息,并提供了完整的Matlab代码实现。该方法有效提升了定位精度与稳定性,尤其适用于存在单一传感器误差或信号丢失的复杂环境,如自动驾驶、移动采用GPS、里程计和电子罗盘作为定位传感器,EKF作为多传感器的融合算法,最终输目标的滤波位置(Matlab代码实现)机器人导航等领域。文中详细阐述了各传感器的数据建模方式、状态转移与观测方程构建,以及EKF算法的具体实现步骤,具有较强的工程实践价值。; 适合人群:具备一定Matlab编程基础,熟悉传感器原理和滤波算法的高校研究生、科研人员及从事自动驾驶、机器人导航等相关领域的工程技术人员。; 使用场景及目标:①学习和掌握多传感器融合的基本理论与实现方法;②应用于移动机器人、无人车、无人机等系统的高精度定位与导航开发;③作为EKF算法在实际工程中应用的教学案或项目参考; 阅读建议:建议读者结合Matlab代码逐行理解算法实现过程,重点关注状态预测与观测更新模块的设计逻辑,可尝试引入真实传感器数据或仿真噪声环境以验证算法鲁棒性,并进一步拓展至UKF、PF等更高级滤波算法的研究与对比。
内容概要:文章围绕智能汽车新一代传感器的发展趋势,重点阐述了BEV(鸟瞰图视角)端到端感知融合架构如何成为智能驾驶感知系统的新范式。传统后融合与前融合方案因信息丢失或算力需求过高难以满足高阶智驾需求,而基于Transformer的BEV融合方案通过统一坐标系下的多源传感器特征融合,在保证感知精度的同时兼顾算力可行性,显著提升复杂场景下的鲁棒性与系统可靠性。此外,文章指BEV模型落地面临大算力依赖与高数据成本的挑战,提“数据采集-模型训练-算法迭代-数据反哺”的高效数据闭环体系,通过自动化标注与长尾数据反馈实现算法持续进化,降低对人工标注的依赖,提升数据利用效率。典型企业案进一步验证了该路径的技术可行性与经济价值。; 适合人群:从事汽车电子、智能驾驶感知算法研发的工程师,以及关注自动驾驶技术趋势的产品经理和技术管理者;具备一定自动驾驶基础知识,希望深入了解BEV架构与数据闭环机制的专业人士。; 使用场景及目标:①理解BEV+Transformer为何成为当前感知融合的主流技术路线;②掌握数据闭环在BEV模型迭代中的关键作用及其工程实现逻辑;③为智能驾驶系统架构设计、传感器选型与算法优化提供决策参考; 阅读建议:本文侧重技术趋势分析与系统级思考,建议结合实际项目背景阅读,重点关注BEV融合逻辑与数据闭环构建方法,并可延伸研究相关企业在舱泊一体等场景的应用实践。
虽然给定引用中未直接提及使用程序识别CT平扫图像中神经的方法,但可以结合通用的医学图像识别思路及引用中涉及的相关技术进行推测。 在医学图像识别领域,深度学习技术是常用的方法。如在CT心脏图像分割中,深度学习能够针对大规模数据进行高效统计处理,显著提高分割的准确度和鲁棒性,还能更精准地捕捉心脏结构的特征 [^3]。将此思路应用于CT平扫图像中神经的识别,也可以利用深度学习模型。 首先,需要收集大量的CT平扫图像数据集,这些图像应包含神经结构,并且要对神经部分进行标注,形成训练数据。可以使用卷积神经网络(CNN)这样的深度学习架构,CNN在图像识别任务中表现色,它可以自动从图像中提取特征。通过将标注好的训练数据输入到CNN模型中进行训练,模型会学习到神经在CT平扫图像中的特征模式。 训练完成后,就可以使用该模型对新的CT平扫图像进行神经识别。模型会根据学习到的特征,判断图像中哪些区域是神经。 另外,考虑到CT图像存在部分容积效应,可能会影响病变(包括神经)的显示和诊断 [^2]。在进行图像预处理时,可以采用更薄的准直、更小重建层厚和特殊算法进行图像重建,如高分辨CT(HRCT)检查,以提高图像质量,让神经结构更清晰,从而有利于程序更准确地识别神经。 以下是一个简单的使用Python和Keras库构建CNN模型的示代码: ```python from keras.models import Sequential from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense # 构建简单的CNN模型 model = Sequential() model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(image_height, image_width, 1))) model.add(MaxPooling2D((2, 2))) model.add(Conv2D(64, (3, 3), activation='relu')) model.add(MaxPooling2D((2, 2))) model.add(Conv2D(128, (3, 3), activation='relu')) model.add(MaxPooling2D((2, 2))) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dense(num_classes, activation='softmax')) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值