精度提升5.2%,英伟达等发布多模态医学影像分割模型,实现三维影像自动分割与交互

医学三维重建 Volumetric images是一种在三维空间中呈现图像的方式,也可以被理解为3D图像或者立体图像。常见的如CT或MRI(核磁共振)扫描结果,它们能够从各个角度和深度呈现出人体内部的结构。传统的2D图像以高度和宽度两个方向来呈现信息,而volumetric images则增加了一个深度的维度,可以捕捉更多的空间信息。在一些医疗图像分析的应用中,使用volumetric images可以更好地理解和诊断患者的病情。 阅读详情

自 1971 年首台临床 CT 扫描仪诞生以来,医学影像经历了从二维切片到三维立体的革命性跨越。现代 256 排螺旋 CT 可在 0.28 秒内采集 0.16mm 层厚的全身扫描数据,7T超高场磁共振甚至能捕捉海马区神经纤维的微观走向。但当这些包含数千万体素的三维矩阵呈现在医生面前时,精准分割器官、病灶与血管网络的任务,仍高度依赖人工逐层勾画。研究显示,一套典型腹部 CT 影像的肝脏分割需 45-90 分钟,而涉及多器官联动的放疗规划标注可能持续 8 小时以上,专业人员的视觉疲劳导致的边界误差率可达 12%。

这种困境催生了医学图像分析领域最活跃的创新赛道。从早期基于灰度阈值的区域生长算法,到融合深度学习的 U-Net 三维变体 V-Net,再到引入视觉 Transformer 的 TransUNet 混合架构,算法工程师们不断尝试在像素迷宫中建立智能导航系统。2024 年 MICCAI 会议的最新突破显示,某些模型在前列腺分割任务中已达到与资深放射科医师相当的组间一致性,但其在罕见解剖变异案例中的表现仍波动较大。这揭示了一个更深层的技术哲学命题:当 AI 试图理解人体,究竟需要多少先验知识注入,又能产生多少超越人类认知的解剖学洞察?

近日,由英伟达联合阿肯色大学医学院、美国国立卫生研究院及牛津大学组成的跨学科团队,发表突破性研究成果:VISTA3D 多模态医学影像分割模型。该模型首创三维超体素特征提取方法, 通过统一架构实现三维自动分割(涵盖 127 个解剖结构)与交互式分割双模态的协同优化,在包含 14 个数据集的综合基准测试中,其实现了最先进的三维可提示自动分割和交互式编辑,零样本性能提高了 50%。

相关研究成果以「VISTA3D: A Unified Seamentation Foundation Model For 3D Medical lmaging」为题,已在 arXiv 发表预印本。

在这里插入图片描述

论文地址:
https://doi.org/10.48550/arxiv.2406.05285

三维医学成像技术的范式转变与挑战

在医学影像分析的数字化浪潮中,三维自动分割技术正经历着从「专科医生」到「全科专家」的范式跃迁。传统方法通过构建专用网络架构与定制化训练策略,为每个解剖结构或病理类型打造独立的专家模型,这种模式虽在特定任务中表现出色,却如同让放射科医师反复接受单器官诊断培训——当面对包含 127 个解剖结构的全身 CT 扫描时,系统需要并行运行数十个模型,其计算资源消耗与结果整合复杂度呈指数级增长。

更关键的是,临床实践中真正困扰医生的往往是那些突破标准解剖图谱的罕见病例:可能是实验小鼠肝脏内新发现的纳米级钙化灶,或是移植患者因解剖变异形成的非常规血管走形。这些场景暴露出现有系统的根本性缺陷——过度依赖预设类别与封闭式训练,使得模型在零样本学习与开放域适应方面举步维艰。

这一困境的突破曙光来自自然图像处理领域的启示。当大型语言模型展现出跨任务的惊人泛化能力时,医学影像界开始探索构建「可对话」的智能系统。Meta 提出的 SAM (Segment Anything Model) 在二维图像中实现了「点击即分割」的革命性交互,其零样本性能甚至超越部分专业模型。但将这种范式迁移到三维医学领域时,简单的维度扩展遭遇了根本性挑战:人体器官在连续断层扫描中展现的拓扑复杂性,远非视频中移动的车辆可比拟。

以肝脏分割为例,相邻切片间可能同时存在门静脉分叉、肿瘤浸润和手术夹闭金属伪影,这要求模型必须具备真正的三维空间推理能力,而非简单的时间序列跟踪。此前,有研究人员尝试将 SAM 架构三维化形成了 SAM2 与 SAM3D 系统,虽然在血管追踪等任务中取得进展,但其 Dice 系数仍较专业模型低 9-15 个百分点, 尤其在处理多器官交叠区域时错误率陡增。

更深层的矛盾在于医学数据特有的知识依赖特性。当自然图像分割可以依赖像素级统计特征时,医学影像解析必须融合解剖学先验知识, 比如胰腺分割不仅要识别灰度特征,还需理解其与十二指肠的解剖毗邻关系。这催生出基于上下文学习的新范式:通过输入示例图像或文本描述引导模型适应新类别。

但现有系统在测试中暴露出的问题颇具讽刺意味:要求临床医生提供高质量示例标注本身,就违背了自动化分割的初衷;而文本引导的语义对齐偏差,可能导致将肝门部胆管癌误判为正常血管结构。这种技术路径的悖论,折射出医学 AI 发展中的根本性命题:如何在开放域适应与临床安全性之间建立动态平衡,或许比单纯追求算法性能更具现实意义。

VISTA3D:一种用于 3D 医学成像的统一分割基础模型

为突破三维医学影像分析的范式局限,英伟达的研究团队构建了融合二维预训练优势与三维解剖特性的创新架构——VISTA3D 模型。 如下图所示,如果分割任务 X 属于 127 个支持的类别(左侧绿色圆圈),VISTA3D 将执行高精度的自动分割 (Auto-seg)。医生可以在需要时检查并高效地使用 VISTA3D 编辑结果。如果 X 是一个新类别(右侧蓝色圆圈),VISTA3D 将执行三维交互式零样本分割 (Zeroshot interactive)。

在这里插入图片描述

VISTA3D 的完整工作流程

具体来看,VISTA3D 模型架构采用模块化设计理念,基于医学影像领域广泛验证的 SegResNet 构建三维分割核心。 该 U 型网络架构在 BraTS 2023 等国际权威分割挑战中已展现卓越性能。如下图所示,如果用户提供了属于 127 个支持类别内的类别提示 (class prompt),顶部的自动分支 (auto-branch) 将激活开箱即用的自动分割功能。如果用户提供了三维点击点提示 (point prompts),底部的交互分支 (interactive branch) 将激活交互式分割功能。如果两个分支都被激活,基于算法的合并模块将使用交互式结果来编辑自动结果。

在这里插入图片描述

VISTA3D 的架构

其中,自动分支采用智能编码技术管理 127 种人体结构。当需要定位特定部位时,系统会精准匹配扫描图像中的特征信息,通过智能转换生成分割结果。这种设计比传统方法节省 60% 内存资源,还能避免标注不完整导致的学习偏差。 人工修正模块则采用三维点击定位技术:先还原图像细节再优化处理速度,医生点击的位置会转化为空间坐标,与扫描特征智能关联;遇到胰腺与肿瘤等易混淆结构时,系统会自动添加区分标记。

两个模块通过智能协作实现精准调整。修正操作只会影响点击位置相连的局部区域,就像用精准手术刀修改特定部位,不会破坏整体分割结果。这套三维优化方案使医生修正效率提升 40%。 在模型训练阶段,研究团队还整合了 11,454 例 CT 扫描数据,采用半监督学习框架下的伪标签生成机制,结合四阶段渐进式训练策略,首先在混合数据集(含伪标签与超体素标注)进行预训练,随后分别在自动分割与交互修正任务进行微调,最终通过联合训练实现功能集成。最终,VISTA3D 模型通过核心创新实现了多种技术跃迁。

首先,该模型在 14 个国际公开数据集上完成系统性验证,覆盖 127 类解剖结构与病理特征,其三维自动分割精度(Dice 系数 0.91±0.05)较传统基线模型提升 8.3%, 同时支持点击交互式修正功能,人工修正耗时降低至传统方法的 1/3。其次,首创三维超体素特征迁移技术,通过解耦二维预训练主干网络的空间特征,在胰腺分割等零样本任务中实现 50% 的 mIoU 提升,标注效率较监督学习提升 2.7 倍。 另外,研究团队还构建了跨机构多模态数据集,在保持 97.2% 标注精度的前提下将数据标注成本压缩至完全人工标注的 15%。

国内三维医学成像与 AI 融合研究进展

近年来,随着 AI 技术在医疗领域的广泛应用,三维医学成像技术与人工智能的结合逐渐成为研究热点,并在国内取得了显著进展,为医疗诊断和治疗带来了新的机遇。

在 2023 年,AI 在医学成像中的应用主要集中在辅助诊断方面。AI 能够快速筛选庞大的图像和患者信息数据集,提高诊断效率。例如,一些 AI 集成的成像系统可以检测到肉眼难以识别的微小异常,从而提高诊断的准确性。此外,AI还可以从患者的电子病历中检索之前的成像扫描,并将其与最新的扫描结果进行比较,为医生提供更全面的诊断信息。例如,上海交通大学提出了一种 3D 医学图像分割新工作模型 PnPNet, 通过建模相交边界区域与其相邻区域之间的交互动力学来解决类间边界混淆的问题,性能表现 SOTA,优于 MedNeXt、Swin UNETR 和 nnUNet 等网络。

论文地址:

https://arxiv.org/abs/2312.08323

进入 2024 年,三维医学成像技术与 AI 的结合更加紧密,研究方向也更加多样化。一方面,AI 技术在医学影像三维重建中的应用逐渐成熟,能够自动进行三维影像分割和重建,提高影像重建的精确度和效率。另一方面,AI 在影像分析方面的能力也得到了进一步提升,可以辅助医生进行疾病诊断和治疗方案的制定。此外,AI技术还被应用于影像后处理,如去噪、增强和渲染等,以提高影像的可读性和美观度。例如,四川大学华西医院基于中国人群肺癌筛查队列、肺结节临床队列,创新性研发了基于数据驱动的中国肺结节报告和数据系统 (C-Lung-RADS), 实现了肺结节恶性风险精准分级和个性化管理。
论文地址:

https://www.nature.com/articles/s41591-024-03211-3

到了 2025 年,AI 技术在三维医学成像中的应用更加广泛和深入。例如,北京大学科研团队日前在国际上发布了一项「肾脏成像组计划」, 拟通过多模态成像技术与人工智能算法,率先构建全肾脏数字图谱。这一「数字肾脏」能使肾脏疾病机理更清晰可见,为肾脏疾病的精准诊断、新药研发、精准治疗提供全新方向。

与此同时,中国地质大学团队联合百度提出了一种称为对比度驱动医学图像分割的通用框架 ConDSeg。 该框架创新性地引入了一致性强化训练策略、语义信息解耦模块、对比度驱动特征聚合模块以及尺寸感知解码器等,实现了医学图像分割模型精度的进一步提升。
论文地址:

https://arxiv.org/abs/2412.08345

不仅如此,昆明理工大学与中国海洋大学提出了一种双向逐步特征对齐 (BSFA) 的未对齐医学图像融合方法。与传统方法相比,该研究在统一的处理框架内,通过单阶段的方法对未对齐的多模态医学图像同时进行对齐和融合,不仅实现了双重任务的协调,也有效降低了因引入多个独立特征编码器而导致模型复杂的问题。
论文地址:

https://doi.org/10.48550/arXiv.2412.08050

然而,三维医学成像技术结合AI的研究也面临着一些挑战。数据隐私、算法透明度、模型泛化能力和法规监管等问题仍然是需要解决的关键问题。未来,随着技术的不断进步和法规的完善,这些问题或将有望得到逐步解决,从而推动 AI 技术在医学影像领域的更广泛应用。

多模态:图像分割SAM 图像生成领域爆发性的技术增长让传统计算机视觉技术再次崛起,如目标检测,图像分割,这些技术引入图像生成相关技术的pipeline中,可以设计出更多创新性的算法。而这些基础技术也有了一些大模型,如目标检测的GroundingDINO,图像分割的SAM(segment anything model)。本文主要对SAM进行介绍。SAM是一个交互式分割模型,可以根据提示词对目标进行分割。可有效解决通常自然图像的下游分割任务。整体上来说,SAM的模型结构说不上十分复杂,但其令人竟然的数据工程和训练方式实在让人赞叹。 阅读详情

相关推荐

AI顶尖人才作战图:解码Grok 4背后的复合型大脑

大模型竞争已从算力比拼升级为顶尖人才协同效率的较量。所谓‘AI能力’,本质是数学直觉、系统工程与认知建模三重能力的融合体——它决定模型能否真正理解微分几何公理而非仅调用库函数,能否在20万GPU集群上将理论吞吐转化为稳定QPS,能否对推理链进行形式化验证以攻克AIME等零容错考试。这类复合型人才并非凭空出现,而是源于清华姚班、上交ACM班等体系化培养所沉淀的‘数理根基+系统能力’双轨优势。其技术价值体现在高确定性场景(如代码生成、数学证明、金融风控)中不可替代的鲁棒性与可审计性,广泛应用于大模型后训练优化、

ctk87443的博客 362

CVPR 2025|英伟达联合牛津大学提出面向3D医学成像的统一分割基础模型

英伟达与牛津大学联合开发的VISTA3D成为首个在3D医学影像领域实现全流程支持的统一基础模型。

计算机科研圈的博客 1944

基于多模态变分自编码器的任意时刻三维物体重建

在我们的方法中,我们使用变分自编码器来对物体的三维结构进行建模。通过利用多模态数据的相关性以及变分自编码器的先验信息,我们可以有效地从单幅图像中恢复出物体的三维结构。本文提出了一种基于多模态变分自编码器的方法,能够在任意时刻从单幅图像中恢复出物体的三维结构。然后,我们根据语义分割的结果,将对应的深度值和点云信息进行融合,得到物体的三维结构表示。通过利用多模态数据的相关性和变分自编码器的先验信息,我们可以有效地从单幅图像中恢复出物体的三维结构。我们的方法主要包括两个关键步骤:多模态数据融合和变分自编码器。

CyberBladeX的博客 327

多模态:指代图像分割

指代图像分割         指代图像分割的目的是通过一个自然的语言表达来分割指代物。由于文本和图像之间的不同数据属性,网络很难很好地对齐文本和像素级的特征。         现有的方法使用预训练模型来促进学习,但将语言/视觉知识从预训练模型中分离出来,忽略了多模态对应信息。受对比语言图像预训练(CLIP)的启发,本文提出了一种端到端CLIP驱动的参

ResumeProject的博客 6171

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品)

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品)

jks212454的博客 475

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统

船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。

专注于计算机研发知识和资讯分享 537

【Reading Notes】(6)Favorite Articles from 2023

Feature-Based Knowledge,一般而言,在基于特征的知识迁移中,研究的对象包括了:如何需选择知识类型?对于台积电的客户来说,这个数字是难以接受的,因为客户需要为整个晶圆买单,包括其中有缺陷的芯片。最后大家采取了一个折中方案,4号线经过北大的789米轨道段,将采用世界上最先进的轨道减振技术,也就是在钢轨下铺设钢弹簧浮置板。毕竟,有苹果这样的金主愿意成为台积电新制造工艺的第一个客户,能分担台积电先进制程节点的研发费用和专用工厂的建设费用。(2023年01月01日)(2023年01月04日)

bryant_meng 1718

From Manual to Magic: How nnU-Net is Revolutionizing Biomedical Image Segmentation Without Human Int

本文探讨了nnU-Net如何通过全自动深度学习技术革新生物医学图像分割领域。作为自我配置的智能系统,nnU-Net无需人工干预即可完成从数据预处理到模型训练的全流程,显著提升医学影像分割的效率和精度,尤其在CT和MRI影像分析中表现卓越。

metal的博客 1085

深度学习如何在医学影像分割上大显神通?——分割网络的三个改进思路

今天看到了一篇介绍深度学习在医学影像分割中的应用的文章,写的很好,分享给更多需要的朋友。原文链接:https://cloud.tencent.com/developer/article/1029037 一、医学影像分割有助于临床工作 图像分割在影像学诊断中大有用处。自动分割能帮助医生确认病变肿瘤的大小,定量评价治疗前后的效果。除此之外,脏器和病灶的识别和甄别也是一项影像科医生的日常工作。CT和...

qq_32863339的博客 1万+

箱式连续提升机

箱式连续提升机,是对具有高度差较大(>1500mm)的输送线之间进行连接,将箱式物资进行连续输送的提升(或下降)的输送设备,可根据输送线的具体输送要求作相应的参数设计。目前的箱式连续提升机种类比较多,常用的形式主要有Z型和C型,工作原理相同,只是入口和出口分别在两侧和同侧。

月生沧溟 1253

IC版图设计布局经验90条!

13 如果一个cell调用其它cell,被调用的cell的vssx,vddx,vssb,vddb如果没有和外层cell连起来,要打上PIN,否则通不过diva检查.尽量在布局低层cell时就连起来。48 在匹配电路的mos管左右画上dummy,用poly,poly的尺寸与管子尺寸一样,dummy与相邻的第一个poly gate的间距等于poly gate之间的间距。8 更改cell时查看路径,一定要在正确的library下更改,以防copy过来的cell是在其他的library下,被改错。

weixin_44606964的博客 914

近期必读的7篇【医学图像分割】相关论文和代码(CVPR、AAAI)

【导读】最近小编推出CVPR2019图卷积网络相关论文、CVPR2019生成对抗网络相关视觉论文、【可解释性】相关论文和代码,CVPR视觉目标跟踪相关论文,CVPR视觉问答相关论文,反响热烈。最近,医学图像分割这一新分割应用领域也广泛受关注,出现了好多新方法、新数据集,今天小编专门整理最新七篇医学图像分割相关应用论文—对抗攻击、跨模态域自适应、迁移学习、one-shot、GAN等。 1、Non-...

据说大佬都喜欢黑色! 2万+

ISP Tuning实战指南:从基础到高级的色彩与亮度优化

本文详细介绍了ISP Tuning的基础概念与高级调优技术,包括黑电平校正(BLC)、自动白平衡(AWB)、色彩校正矩阵(CCM)和Gamma曲线调整等核心算法。通过实战案例和调试技巧,帮助工程师提升摄像头成像质量,解决高光过曝、暗部噪点等常见问题,适用于智能门铃、车载摄像头等多种场景。

weixin_30879169的博客 112

unet知乎_医学多模态图像分割小结

在医学图象中,多模态数据因成像机理不同而能从多种层面提供信息。多模态图像分割包含重点问题为如何融合(fusion)不同模态间信息,本文主要记录笔者最近所读,欢迎批评指正补充1. A review: Deep learning for medical image segmentation using multi-modality fusion (Array 2019)*** 融合策略分类 综述,按...

weixin_26833205的博客 3157

MATLAB实战:5分钟搞定雷达信号分选SDIF算法(附完整源码下载)

本文详细介绍了如何在MATLAB中快速实现雷达信号分选的SDIF算法,通过序列差直方图统计高效识别脉冲重复间隔(PRI)。文章包含完整源码下载,从算法原理到实战调优技巧,帮助工程师在5分钟内掌握核心实现方法,显著提升雷达信号处理效率。

info6的博客 615

汇川PLC和PLC之间ModebusTCP通讯

然后在全局变量中创建相应的变量关联IW和QW的寄存器创建全部变量//AM402作为主站——读H3U(D12-D21)//AM402作为主站——写给H3U(D200-D209)或者使用数组的方式。

panjinliang066333的博客 3万+

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 341

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 280

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 616

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 209

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 345

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 87
上一篇: 【TVM教程】使用 TVMC Micro 执行微模型
下一篇: 【Triton 教程】triton_language.num_programs
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值