SAM 2最新应用落地!牛津大学团队发布Medical SAM 2,刷新医学图像分割SOTA榜

SAM-2全面来袭,能够分割任意图像和视频,代码开源! 阅读详情
AI摘要

牛津大学团队基于SAM 2框架开发出MedSAM-2,一种适用于医学图像分割的先进模型,可在3D医学图像分割任务中表现出色,并具备单次提示分割功能。

2023 年 4 月,Meta 公司发布了 Segment Anything Model (SAM),号称能够「分割一切」,犹如一颗重磅炸弹震荡了整个计算机视觉领域,甚至被很多人看作是颠覆传统 CV 任务的研究。

时隔 1 年多,Meta 再度发布里程碑式更新—— SAM 2 能够为静态图像和动态视频内容提供实时、可提示的对象分割,将图像与视频分割功能整合到了同一个系统中。 可想而知,强大的实力使得业界开始加速探索 SAM 在不同领域的应用,尤其是在医学图像分割领域,不少实验室和学术研究团队已经将其视为医学图像分割模型的不二之选。

所谓医学图像分割,就是将医学图像中具有特殊含义的部分分割出来,并提取相关特征,进而为临床诊断、病理学研究等提供可靠依据。

近年来,随着深度学习技术的不断进步,基于神经网络模型的分割已逐渐成为医学图像分割的主流方法,自动化的分割方法大大提升了效率与准确性。然而,鉴于医学图像分割领域的特殊性,其中仍有一些挑战亟待解决。

首先是模型泛化, 针对特定目标 (如器官或组织) 训练的模型很难适应其他目标,因此往往需要针对不同的分割目标重新开发相应的模型;其次是数据差异, 许多为计算机视觉开发的标准深度学习框架都是为 2D 图像所设计,但在医学成像中,数据通常是 3D 格式,如 CT、MRI 以及超声图像等,这种差异无疑为模型训练造成了巨大的困扰。

为了解决上述问题,牛津大学团队开发了名为 Medical SAM 2 (MedSAM-2) 的医学图像分割模型, 该模型基于 SAM 2 框架设计,将医学图像视作视频,不仅在 3D 医学图像分割任务上表现卓越,同时还解锁了一种新的单次提示分割的能力。用户只需为一种新的特定对象提供一个提示,后续图像中同类对象的分割就可以由模型自动完成,而无需进一步输入。

相关论文及成果目前以「Medical SAM 2: Segment medical images as video via Segment Anything Model 2」为题,已发表于预印本平台 arXiv 上。

研究亮点:

  • 团队率先推出基于 SAM 2 的医学图像分割模型 MedSAM-2

  • 团队采用了一种新颖的「medical-images-as-videos」的理念,解锁了「单次提示分割功能」

在这里插入图片描述

论文地址:
https://arxiv.org/pdf/2408.00874

SA-V 视频分割数据集直接下载:

https://go.hyper.ai/e1Tth

Medical SAM 2 示例医学分割数据集:

https://go.hyper.ai/TZZBj

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:
https://github.com/hyperai/awesome-ai4s

数据集:分类设计,全面评估

团队通过使用自动生成的掩码提示,在 5 个不同的医学图像分割数据集上进行实验,这些数据集分为两类:

第一类旨在评估一般分割性能, 团队选择了腹部多器官分割任务,选用 BTCV 数据集,包含 12 个解剖结构。

第二类旨在评估模型在不同成像模式中的泛化能力, 研究人员使用 REFUGE2 数据集对眼底视盘 (Optic disc) 和视杯 (Optic Cup) 图像分割;使用 BraTs 2021 数据集对 MRI 扫描的脑肿瘤分割;使用 TNMIX 基准对超声图像进行甲状腺结节分割,该基准由 TNSCUI 的 4,554 张图像以及 DDTI 的 637 张图像组成;使用 ISIC 2019 数据集对皮肤病变图像进行黑色素瘤或痣分割。

此外,团队设置了 10 个额外的 2D 图像分割任务,通过使用不同类型的提示,进一步评估了模型的单次提示分割能力。具体来说,KiTS23、ATLAS23、TDSC 和 WBC 等数据集,采用点提示技术;SegRap、CrossM23 和 REFUGE 数据集,采用 BBox (bounding box) 提示;CadVidSet、STAR 和 ToothFairy 数据集采用掩码提示。

模型架构:针对不同维度医学图像的有效分割处理

MedSAM-2 的架构基本类似于 SAM 2,但研究团队同时为其构建了独特而高效的处理模块和管道,结合置信度记忆库 (Confidence Memory Bank) 和加权拾取策略 (Weighted Pick-up strategy),从技术上对模型的能力予以保障。

具体来说,MedSAM-2 的架构如下图所示, 包含:

  • 图像编码器 (Image Encoder),将输入抽象为嵌入

  • 记忆注意力机制 (Memory Attention),用存储在记忆库中的记忆来调节输入嵌入

  • 记忆编码器 (Memory Decoder),将预测帧嵌入抽象化

在这里插入图片描述

MedSAM-2 框架图

网络中的编码器和解码器与 SAM 中的编码器和解码器相似。编码器由分层视觉转换器组成,解码器包括集成了提示嵌入和图像嵌入的轻量级双向转换器,其中提示嵌入由提示编码器 (Prompt Encoder) 生成;记忆注意力组件由一系列堆叠的注意力块组成,每个块都包含自注意力块及交叉注意力机制。

值得注意的是,MedSAM-2 的一个重要创新在于将医学图像处理视作视频进行分割, 这是提高 3D 医学图像分割性能和解锁「单次提示分割功能」的关键,为此团队还为 2D 和 3D 医学图像分别开发了两个不同的运行流程,以针对不同维度的医学图像进行有效的分割处理。

对于 3D 医学图像处理, 因为 3D 医学图像中相邻切片之间存在很强的时间关联,其处理方式也类似于处理视频数据,利用 SAM 2 原本的存储系统来检索先前的切片及其相应预测,以进行连续切片分割,随后通过记忆注意力机制增强输入图像嵌入,并将分割结果添加回存储区,以辅助后续切片的分割。

对于 2D 医学图像处理, 处理方式与 SAM 2 中使用的时间先进先出队列 (the temporal first-in-first-out queue) 不同,而是将包含相同器官或组织的一组医学图像分组为「医学图像流」,并采用「置信度优先」的存储区来存储模型的模板,根据模型预测的概率计算置信度,同时实施图像多样性约束。在合并输入图像嵌入和存储区信息时,采用加权选择策略。在训练阶段,使用校准头 (calibration head) 确保模型预测更准确。最终实现在没有时间关联的情况下,只需一个样本提示,就能实现对目标的自动分割。

实验结果:MedSAM-2 性能、泛化能力全面领先

研究团队使用了 IoU (Intersection over Union) 和 Dice Score 来评估模型在医学图像分割中的性能,同时引入 Hausdorff Distance (HD95) 度量确保性能评估的准确性。

  • loU 也被称为 Jaccard 指数,是一种用于评估特定数据集上目标检测器准确性的度量。

  • Dice Score 又称 Dice Coefficient,是比较两个样本之间相似性的统计工具。

  • Hausdorff Distance (HD95) 度量是主要用于确定两组点之间差异程度的度量,通常用于评估图像分割任务中物体边界的准确性,对于量化预测分割和实况边界之间距离的最坏情况尤为有效。

首先,团队将 MedSAM-2 与一系列 SOTA 医学图像分割方法进行了基准测试,包括针对 2D 和 3D 医学图像的分割任务。对于 3D 医学图像,提示随机提供,概率为 0.25;对于 2D 医学图像,概率为 0.3。

为了在 3D 医学图像上评估所提模型的一般性能, 团队将 MedSAM-2 与 BTCV 多器官分割数据集上建立的先进分割方法进行了比较,包括知名的 nnUNET、TransUNet、UNetr、Swin-UNetr 模型以及 Diffusion-based 模型(如 EnsDiff、SegDiff 和 MedSegDiff)。此外团队还对原版 SAM,全微调 MedSAM、SAMed、SAM-Med2D、SAM-U、VMN 以及 FCFI 等交互式分割模型进行对比评估。性能使用 Dice Score 进行量化,结果如下图所示:

在这里插入图片描述

MedSAM-2 与先进分割方法在 BTCV 数据集上的比较由 Dice Score 评估量化

结果显示,MedSAM-2 相比之前的 SAM 和 MedSAM 进步显著。在 BTCV 数据集上,MedSAM-2 在多器官分割任务上实现了卓越的性能,达到了 88.57% 的最终 Dice 分数。在交互模型中,MedSAM-2 保持领先地位,比之前领先的交互式模型 Med-SA 的表现高出 2.78%。所有这些交互式模型都需要每一帧给出提示,而 MedSAM-2 在给出较少提示的情况下取得了更好的结果。

在 2D 医学图像分割任务上, 团队将 MedSAM-2 与针对不同图像模式的特定任务而定制的方法进行了比较。具体来看,针对视杯分割,与 ResUnet 和 BEAL 进行了比较;针对脑肿瘤分割,与 TransBTS 和 SwinBTS 进行了比较;针对甲状腺结节分割,与 MTSeg 和 UltraUNet 进行了比较;针对皮肤病变分割,与 FAT-Net 和BAT 进行了比较。此外,团队还对交互式模型进行了基准测试,结果如下图所示:

在这里插入图片描述

MedSAM-2 与先进分割方法在不同图像模态上的比较

结果显示,MedSAM-2 在 5 个不同的任务中优于所有其他方法,展示了其在不同医学图像分割任务中卓越的泛化能力。具体来说,MedSAM-2 在视杯上实现了 2.0% 的改进,在脑瘤上实现了 1.6% 的改进,在甲状腺结节上实现了 2.8% 的改进。在交互式模型对比中,MedSAM-2 依旧保持性能领先。

最后,团队还评估了 MedSAM-2 在仅给出一个提示时的性能, 并且顺序图像之间没有明确的联系,这进一步验证了 MedSAM-2 单次提示分割的能力。具体来说,团队将 MedSAM-2 与 PANet、ALPNeu、SENet 和 UniverSeg 进行了比较,所有模型测试期间均只给出一个提示。另外,团队还将 MedSAM-2 与单镜头模型如 DAT、ProbONE、HyperSegNas 以及 One-prompt 进行了比较。

在这里插入图片描述

在 10 个具有不同提示的数据集上的单次提示分割设下MedSAM-2 与单镜头模型的对比

结果显示,MedSAM-2 展示出了跨各种任务的稳健泛化能力,即使与经过高强度训练的 One-prompt 相比,仍表现出色,在 10 个任务中的比较只有 1 个落了下风。另外在所有方法都提供掩码的场景中,MedSAM-2 显示出了更明显的优势,通常平均超过第二位 3.1%,是所有提示设置中最大的差距。

SAM 助力医学图像分割研究如火如荼

本次论文的发布可谓是对 SAM 及 SAM 2 在医学领域潜力的又一次深挖,为医学图像分割领域提供了一种全新的思路与方法,尤其是在临床应用中展现了极大的潜力和价值,能够大幅缩减医学图像分割的工作量,提升医学图像分割效率和精准度。

而更值得一提的是,正如文章开头所言,不少实验室和学术团队都在挖掘 SAM 的潜力, 在医学图像分割赛道上,也不止本论文中所提的牛津大学团队。

无独有偶,就在 SAM 发布不久,深圳大学医学部生物医学工程学院倪东教授团队联合英国牛津大学、苏黎世联邦理工学院、浙江大学、深圳市人民医院和度影医疗等单位,就 SAM 在医学影像任务上的应用开启了全面、多角度的实验和评估。相关论文及成果以「Segment Anything Model for Medical Images?」为题,发表于国际医学图像分析领域的顶级期刊 「Medical Image Analysis」上。

在这里插入图片描述

在这篇论文的研究中,相关团队最终构建了一个超大规模医学影像分割数据集 COSMOS 1050K,包含 18 种影像模态、84 个生物医学领域分割目标、1050K 2D 图像和 6033K 分割掩膜。基于该数据集,研究人员对 SAM 进行了全面评估,探索了提升 SAM 在医学目标感知方面的能力。

COSMOS 1050K 医学图像分割数据集直接下载:

https://go.hyper.ai/zFpIE

除此之外,上海复旦大学大数据学院和上海交通大学生物医学工程学院的团队同样也对 SAM 在医学图像分割领域方面进行了一系列研究,相关论文以「Segment anything model for medical image segmentation: Current applications and future directions」为题,收录于 arXiv、Computer in Biology and Medicine 等知名学术网站和期刊上。

在这里插入图片描述

该论文则着重探讨了在自然图像分割中取得显著成就的 SAM 在医学图像分割领域的应用可能,并对探索了对 SAM 模块微调及类似架构的重新训练,以适应医学图像分。

论文地址:

https://www.sciencedirect.com/science/article/abs/pii/S0010482524003226

总而言之,正如以上论文所探讨的一样,科学家们通过对 SAM 潜力的发掘,将医学图像的处理和分析变得更加简单和高效,这无论对学术界、医学界甚至病人而言,都将是值得期待的结果。同时,像 SAM 这样的通用图像分割模型的发布,也是给各领域打开了一扇神奇的大门,相信不仅是医学影像领域,未来如自动驾驶、新媒体、AR/VR……或许都将受益无穷。

抽奖赠书

在这里插入图片描述

HyperAI超神经联合电子工业出版社为大家带来了赠书福利!我们准备了 5 本超干货科普图书「AI for Science:人工智能驱动科学创新」,快来参与抽奖吧~

参与方式

关注 HyperAI超神经公众号,并在后台回复「AI4S赠书」,点击抽奖页面参与抽奖,我们共为大家准备了 5 本图书,快递包邮送到您手中,快来参与吧!

图书简介

从预测蛋白质结构,到推测基因突变的致病性,AI 引领的新范式已经让我们看到包括生命科学在内的各个科学领域的新机遇。

「AI for Science:人工智能驱动科学创新」一书聚焦于人工智能与材料科学、生命科学、电子科学、能源科学、环境科学五大领域的交叉融合,通过深入浅出的语言,对基本概念、技术原理和应用场景进行了全面的介绍,让读者可以快速掌握 AI for Science 的基础知识。此外,对于每个交叉领域,本书通过案例进行了详尽的介绍,梳理了产业地图,并给出了相关政策启示。

SAM2模型微调训练、验证和预测(Part1) 要实现SAM2特定目标预测需要进行模型的微调。本文介绍了sam2模型的微调训练方法。包括环境配置、数据集准备和训练代码及损失曲线的绘制。 阅读详情

相关推荐

MedSAM2实战指南:3D医学影像与动态视频分割的极速部署与应用

本文详细介绍了MedSAM2在3D医学影像与动态视频分割中的革命性应用,包括CT和MRI数据的极速处理与部署指南。通过实战案例展示其高效性,如肝脏肿瘤分割仅需8秒且精度达0.93 Dice系数,同时涵盖超声视频实时追踪等高级功能,为医疗影像AI领域提供强大工具。

weixin_29070721的博客 355

SAM 2 (Segment Anything ):图像与视频通用分割模型

一、关于 SAM 2 相关链接资源 关键功能特性 二、最新更新 1、2024-12-11 更新 2、2024-09-30 更新 三、安装指南 系统要求 安装步骤 Windows 用户注意 额外依赖(运行示例笔记本) 安装注意事项 四、快速入门 1、下载模型检查点 2、图像分割示例 3、视频分割示例 五、从 Hugging Face 加载 1、图像预测 2、视频预测 六、模型描述 1、SAM 2.1 检查点(2024-09-29 发布) 2、SAM 2 检查点(2024-07-29 发布)

AI工程化、开源分享、文档翻译、代码笔记 9888

各种AI的调试日记——辅助工作篇

记录使用各种AI(语言大模型)的心得和总结

m0_73056986的博客 1393

SAM2无法分割一切?SAM2-Adapter:首次让SAM2适应一切!

作者| Cver 编辑| 极市平台点击下方卡片,关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『计算机视觉』技术交流群本文只做学术分享,如有侵权,联系删文导读SAM2-Adapter是一种新型适配方法,旨在充分利用Segment Anything 2(SAM2)模型的高级功能,以应对特定的下游分割任务。2023年,Meta提...

CV_Autobot的博客 3128

Tessent MBIST SDC

主要是两个PROC,tessent_constrain_${design_name}_mentor_ijtag_non_modal和tessent_constrain_${design_name}_mentor_memory_bist_modal。其中,Memory/MBIST controller/MEM Interface可以从func_clk_1来(用func_clk_1和func_clk_2的高频时钟),如图中红色线。其中,SIB和BAP用ijtag_tck的clock,如图绿色线。

po_poo的博客 1994

01|无代码开发 | 如何使用Zion实现导航网站制作

以上就是我制作导航网站的心得,分享给大家,作为一个小白想要独立搭建一个网站还是比较困难的,而在Zion不仅可以用可视化的方法进行搭建,甚至还可以一键发布,不用考虑服务器域名啥的问题,真是太方便了。

2301_76262110的博客 1390

SAM2的应用

标定医学图像数据标注。

z15f34的博客 7815

大语言模型(LLM)在组合优化中的新突破:LLM-LNS与FunSearch性能对比

本文深入探讨了大语言模型(LLM)在组合优化中的创新应用,重点对比了LLM-LNS与FunSearch两种方法的性能差异。研究表明,LLM-LNS在物流路径规划、资源调度等场景中展现出显著优势,其双层自演化架构能有效平衡探索与利用,相比传统方法提升效率约43%。文章还提供了实践选择指南,帮助开发者根据具体需求选用合适的技术方案。

weixin_42526415的博客 408

MedSAM2调试安装与使用记录

我们在解读完MedSAM之后,迫不及待想尝尝这个技术带来的福音,因此验证下是否真的那么6。这不,新鲜的使用教程来了!!!这里将SAM2MED进行了测试和推理,步骤比较多,但是也不难。模型取得的效果,还需要进一步验证!

wqthaha的专栏 3802

手把手教你用内核远程call实现64位进程注入(附完整ShellCode示例)

本文深入探讨了在Windows 64位环境下,通过内核态直接操作线程TrapFrame结构实现进程注入的高级技术。文章提供了从驱动框架设计、用户态-内核态通信,到定位修改TrapFrame、编写Shellcode及执行环境恢复的完整实战指南,并附有详细的代码示例,为安全研究人员和开发者提供了绕过用户态检测、实现底层远程代码执行的新思路。

weixin_28396629的博客 346

手把手教你YOLOv8/YOLOv11分割训练自己数据集和推理,并教你使用Labelme工具标注数据(附分割网络结构图)

YOLOv8-seg 和 YOLOv11-seg 都是一种高效实例分割算法,实例分割模型的输出是一组勾勒出图像中每个物体的遮罩或轮廓,以及每个物体的类标签和置信度分数。当你不仅需要知道物体在图像中的位置,还需要知道它们的具体形状时,实例分割就非常有用了,功能非常强大,可以应对各种视觉任务。 YOLOv11-seg 则在 YOLOv8-seg 基础上进一步魔改了模型架构,相对分割速度可能更快,其他指标性能有待测试。实例分割可以用于自动驾驶、医疗图像处理、智能农业监控等领域。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 4478

MEDICAL SAM 2: SEGMENT MEDICAL IMAGES AS VIDEO VIA SEGMENT ANYTHING MODEL 2

在本文中,理解下来的提到的主要贡献文本除了原本3D数据可以直接使用SAM2的模型直接实现之外,对于没有明确时序关系的2D数据进行了模型结构的修改以及调整,实现了ONE-PROMPT SEGMENTATION。2. 我们采用一种新颖的医学图像视频理念,它启发我们设计了一个独特的管道,解锁 MedSAM-2 中的一次性分割能力,这是以前的方法几乎无法实现的特征。4. 我们在 15 个不同的基准测试中评估 MedSAM-2,包括 26 个不同的任务,其中模型实现了卓越的性能。

weixin_41749533的博客 2921

【异常】Python环境中没有安装 `openpyxl` 模块提示ModuleNotFoundError: No module named ‘openpyxl‘

是一个用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件的库。只是示例版本号,你可以根据需要选择不同的版本。安装完成后,再次尝试运行你的程序,应该就不会再出现。,这表明你的Python环境中缺少。运行一个Python程序时遇到了。如果由于某些原因你无法直接使用。,你可以指定版本号来安装,这里。要解决这个问题,你需要安装。

奶爸的编程之路,也就一周冷个三天 3399

计算机视觉——MedSAM2医学影像一键实现3D与视频分割的高效解决方案

MedSAM2 是医学影像分析领域的一项重大突破,通过深度学习和先进的图像处理技术,显著提升了医学影像分割的效率和准确性。它能够自动识别和分割医学影像中的各种结构,无论是复杂的器官还是微小的病变,极大地简化了传统手动分割的繁琐过程。MedSAM2 的核心优势在于其强大的自动化能力和实时处理能力,能够在几秒钟内完成对大量影像数据的分析,为临床决策提供即时支持。在实际应用中,MedSAM2 已广泛应用于肿瘤治疗、急诊室诊断等多个场景,帮助医生快速识别病变区域,制定精准的治疗方案。

知来者逆的博客 3966

2万字大厂面经:小米嵌入式面试题及参考答案(持续更新)

BIOS (Basic Input/Output System) 是一种存储在ROM中的固件程序,它为计算机提供了最基础的硬件初始化和服务。BIOS主要存在于传统的x86架构计算机中。嵌入式系统的启动流程取决于具体的硬件平台和所采用的操作系统。复位阶段:当系统通电或复位时,CPU进入复位状态。硬件初始化:CPU和必要的硬件设备(如内存控制器)被初始化。加载引导加载程序:引导加载程序(如U-Boot)被加载到内存中。执行引导加载程序:引导加载程序开始执行,初始化更多的硬件设备,并检测存储介质。

大模型大数据攻城狮的专栏 2530

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

SAM2:可提示的视觉分割新进展

本文解释了SAM2要解决的PVS可提示的视觉分割任务,从模型组件开始逐步拆解SAM2,并总结了SAM1.0和SAM2.0模型的差别。本文还从代码角度讲解如何使用SAM2模型去分割图片和视频,并根据效果进行相应的输入微调,以改变输出效果。

博客之路,前途漫漫 4310

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

新一代分割一切大模型SAM2(Segment Anything Model 2)介绍,可轻松分割图片与视频

新一代分割一切大模型SAM2(Segment Anything Model 2)介绍,可轻松分割图片与视频

阿旭的博客 6055

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

SAM2(segment anything 2)使用指南【1】:使用SAM2分割图片,根据不同提示信息分割图片

SAM2(segment anything 2)使用指南【1】:使用SAM2分割图片,根据不同提示信息分割图片

阿旭的博客 4万+

SAM2分割模型微调指南

SAM2(Segment Anything 2)是 Meta 推出的一款新模型,旨在对图像中的任何内容进行分割,而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模:1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。你可能会问,如果 SAM 可以分割任何东西,为什么我们还需要重新训练它?答案是 SAM 在常见物体方面非常出色,但在罕见或特定领域的任务上表现不佳。

新缸中之脑 9961

SAM 2无法分割一切?SAM2-Adapter:首次让SAM 2在下游任务适应调优!

点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达点击进入—>【Mamba和图像分割】交流群添加微信号:CVer111,小助手会拉你进群!扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!2023年,Meta提出了SAM,在图像分割领域取得了突破的进展。但是,研究人员也发现了SA...

阿木寺的博客 4194

MedSAM2 医学视频图像分割案例

参考:在线demo。

weixin_42357472的博客 1624

推出 SAM 2:适用于视频和图像的下一代 Meta Segment Anything 模型

我们的最新模型 SAM 2 是第一个用于实时、可提示的图像和视频对象分割的统一模型,它使视频分割体验发生了重大变化,并可在图像和视频应用程序中无缝使用。与 SAM 类似,我们不对注释的 masklet 施加语义约束,而是同时关注整个对象(例如,一个人)和对象部分(例如,一个人的帽子)。与图像中的分割相比,视频带来了重大的新挑战。在 SAM 发布之前,要为特定图像任务创建准确的对象分割模型,需要技术专家进行高度专业的工作,他们必须能够访问 AI 训练基础设施和大量经过仔细注释的领域内数据。

weixin_54165147的博客 2588

Meta最新SAM2模型开源直接封神

继图像元分割模型(SAM) 取得成功之后,meta发布了SAM 2,这是一个用于在图像和视频中实时提示对象分割的统一模型,可实现最先进的性能。

sexy19910923的博客 3432
上一篇: 突破万字长文输出瓶颈!清华大学开源 LongWriter-6k 数据集;7 个 CCF A 类顶会即将截稿
下一篇: AI for Genomics丨空间转录组数据表征算法 SPACE,基因组学的人工智能应用
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值