一键下载Meta最大视频分割数据集!含50.9K真实世界视频,覆盖47个国家

SAM-2全面来袭,能够分割任意图像和视频,代码开源! 阅读详情
AI摘要

Meta发布SegmentAnythingModel2(SAM2),实现视频实时分割与跟踪,配合SA-V大规模数据集,涵盖50.9K真实世界视频,提升计算机视觉技术水平。

2023 年 4 月,Meta 发布 Segment Anything Model (SAM),号称能够「分割一切」,这一颠覆传统计算机视觉 (CV) 任务的创新性成果引起了业内的广泛讨论,并被快速应用于医疗图像分割等垂直领域的研究中。日前,SAM 再升级,Meta 开源了 Segment Anything Model 2 (SAM 2),成为计算机视觉领域的又一个划时代里程碑。

从图像分割跨越到视频分割,SAM 2 在实时提示分割方面展现出了卓越性能, 该模型将图像和视频的分割、跟踪功能引入到统一的模型中,只需在视频帧上输入提示(点击、框或掩码),就能精准识别并分割图像或视频中的任何对象,这种独特的零样本学习能力赋予了 SAM 2 极高的通用性,在医学、遥感、自动驾驶、机器人、伪装物体检测等领域展现出巨大的应用潜力。 Meta 对其充满信心:「我们相信,我们的数据、模型和见解将成为视频分割和相关感知任务的重要里程碑!」

确实如此,SAM 2 前脚上线,大家就迫不及待的用了起来,效果好到 Unbelievable!

在这里插入图片描述

图源:Carlos Santana

SAM 2 开源不到半个月,多伦多大学研究人员就将它用在医学图像和视频上,还顺便发表了一篇 paper!

在这里插入图片描述

论文原文:
https://arxiv.org/abs/2408.03322

在这里插入图片描述

多伦多大学研究图源:Marktechpost AI Research News

模型需要数据来训练,SAM 2 也不例外。Meta 在同一时间还开源了用于训练 SAM 2 的大规模数据集 SA-V, 据悉,该数据集可用于训练、测试和评估通用对象分割模型 (generic object segmentation models),HyperAI超神经已经在官网上线了「SA-V:Meta 构建最大的视频分割数据集」,一键即可下载!

在这里插入图片描述

SA-V 视频分割数据集直接下载:
https://go.hyper.ai/AQqZ5

更多高质量数据集下载:
https://go.hyper.ai/P5Mtc

超越现有视频分割数据集!SA-V 涵盖多主题、多场景

Meta 研究人员使用数据引擎收集了一个大型且多样化的视频分割数据集 SA-V,如下表所示,该数据集包含 50.9K 个视频,642.6K 个 masklets (由 SAM 2 辅助手动注释 191K、由 SAM 2 自动生成 452K ), 与其他常见的视频对象分割 (VOS) 数据集相比,SA-V 在视频、masklets 和 masks 数量上均有大幅提升,其标注的 masks 数量是现有任何 VOS 数据集的 53 倍, 为未来的计算机视觉工作提供了丰富的数据资源。

在这里插入图片描述

SA-V与开源VOS数据集在视频数量、时长

掩码片段数量、掩码数量、帧数量和消失率方面的比较

  • SA-V Manual 仅含手动标注的标签

  • SA-V Manual+Auto 将手动标注的标签与自动生成的掩码片段结合

据了解,SA-V 包含的视频数量超过了现有的 VOS 数据集,平均视频分辨率为 1401×1037 pixels,收集的视频涵盖各种日常场景, 包括 54% 的室内场景视频和 46% 的室外场景视频,平均时长为 14 秒。此外,这些视频的主题也多种多样, 包括位置、物体、场景等,Masks 的范围从大型物体(如建筑物)到细粒度的细节(如室内装饰)。

在这里插入图片描述

SA-V 数据集中的视频

如下图所示,SA-V 中的视频覆盖 47 个国家, 并由不同的参与者拍摄,图 a 可得,与 DAVIS、MOSE 和 YouTubeVOS 掩码大小分布相比,SA-V 小于 0.1 的归一化掩码面积 (normalized mask area) 超过 88%。

在这里插入图片描述

数据集分布(a)掩码片段大小分布 (b)视频的地理多样性 ©录制视频工作者的自我报告人口统计

研究人员根据视频作者及其地理位置对 SA-V 数据集进行划分,确保数据中的相似对象有最小重叠 (minimal overlap)。 为了创建 SA-V 验证集和 SA-V 测试集,在选择视频时,研究人员聚焦具有挑战性的场景,要求标注者识别快速移动、被其他物体遮挡、具有消失/重现模式的目标。最终,SA-V 验证集中有 293 个 masklets 和 155 个视频,SA-V 测试集中有 278 个掩码片段和 150 个视频。此外,研究人员还使用内部可用的授权视频数据进一步扩充训练集。

SA-V 视频分割数据集直接下载:
https://go.hyper.ai/AQqZ5

以上就是 HyperAI超神经本期为大家推荐的数据集,如果大家看到优质的数据集资源,也欢迎留言或投稿告诉我们哦!
更多高质量数据集下载:
https://go.hyper.ai/P5Mtc

Meta强势推出分割一切新工作的视觉大模型!SAM2对比YOLOV8 SAM 2 是 Meta 的Segment Anything Model (SAM) 的后续产品,是一款专为图像和视频中的综合对象分割而设计的尖端工具。它采用统一、可提示的模型架构,支持实时处理和零镜头泛化,在处理复杂的视觉数据方面表现出色。 阅读详情

相关推荐

探索SAM 2:图像与视频分割的新突破

SAM 2在SAM的基础上实现了从图像到视频的能力扩展,通过其独特的架构和先进的处理方式,在图像和视频分割领域展现出了卓越的性能和广泛的应用前景。无论是创意视频制作、计算机视觉系统开发还是其他相关领域,SAM 2都有望成为推动技术发展的重要力量,为我们带来更多的创新和便利。

m0_62153576的博客 138

SA-V数据集深度探索:全球最大视频分割数据集使用指南

Segment Anything Video (SA-V) 是目前全球最大的视频分割数据集,由Meta公司发布,包含51K多样化视频和643K高质量时空分割掩码。作为视频分割领域的里程碑式资源,SA-V数据集为计算机视觉研究者提供了前所未有的训练素材,特别适合开发和评估视频目标分割模型。 ## SA-V数据集核心特性与规模 SA-V数据集通过模型与人工协作的方式构建,形成了独特的"自动+手动"

gitblog_00761的博客 876

.sav数据文件数据下载

6万多条酒店数据,这下够挖了吧。数据.sav文件下载地址!

Meta 最大视频分割数据集已上线,规模超同类 50 倍;狂揽 9K 星!快手数字人 Demo 一键启动!

为促进生物学领域对 AI 系统的有效开发,FutureHouse Inc. 的研究人员推出了语言 Agent 生物学基准数据集 LAB-Bench,该数据集用于评估 AI 系统在文献检索和推理、图表解释、DNA 和蛋白质序列的理解和处理等实际生物学研究的表现,成果已提交至顶会 NeurlPS 2024。AuraSR 是一款基于深度学习的图片高清修复模型,能够智能识别图片中的细节信息,并在放大图片的同时,自动补充缺失的细节。CCPD 数据集是一个大型的、多样化的、经过仔细标注的车牌识别数据集。

HyperAI超神经 853

无人机避障——4DMmvRadar三维点云坐标转换到无人机坐标系(三)

无人机避障——4DMmvRadar三维点云坐标转换到无人机坐标系(三)

weixin_45390670的博客 1870

SPD5 集线器协议内容解析

​ 若不同SPD5 Hub后面的本地侧设备同时发送请求,则是22和23、24的混合过程,先通过LID裁决,再通过HID裁决,这里的LID是本地设备的,若LID一致,则看HID,由于SPD5 Hub的本地侧设备HID均为111,因此实际上是比较SPD5 Hub的HID,这个过程在前文提到,SPD5 Hub会转换HID。​ 若MR27[4]=1且MR27[3:0]=1,如果MR51[3:0]=1时,发送IBI,并且MR48[7]置1,将GETSTATUS CCC的待处理中断位[3:0]更新为0001。

weixin_50591344的博客 3861

Meta 最大视频分割数据集已上线,规模超同类 50 倍;狂揽 9K 星!快手数字人 Demo 一键启动!...

AI 如何赋予静态人像生命力,使其微笑、眨眼、甚至微妙的面部表情都栩栩如生?近日,快手团队开源了 LivePortrait,只需上传一张静态照片,它就能变身为表情丰富的动态肖像,在 GitHub 上已狂揽 9K stars。该教程现已在 HyperAI超神经上线,快来急速体验一下! LivePortrait 教程链接: ...

weixin_36966075的博客 224

基于大模型的急性重症胰腺炎全流程预测与诊疗方案研究

本研究构建了基于大模型的急性重症胰腺炎(SAP)全流程预测与诊疗系统,实现了从术前风险评估到术后康复管理的精准诊疗闭环。通过整合临床信息、实验室检查和影像学等多源数据,模型在测试集上预测准确率达X%,AUC为X,显著优于传统评分系统。研究创新性地将预测结果应用于手术方案制定、麻醉决策、并发症防控及个性化护理,形成智能化诊疗方案。验证结果显示模型具有良好的稳定性和临床适用性,同时配套的健康教育体系提升了患者自我管理能力。尽管存在样本局限性和模型可解释性等不足,该研究为SAP的精准诊疗提供了新范式,未来可通过扩

嵌入式毕设/课设资料清单(速查手册·文档模板·题库,持续更新)→ 见最新文章 1117

SAM 3一键部署:图片视频分割神器开箱即用

本文介绍了基于星图GPU平台自动化部署SAM 3 图像和视频识别分割镜像的便捷方案。用户无需配置环境,通过一键启动即可快速运行模型,适用于图像视频智能编辑、AI应用开发等场景,实现高效精准的对象分割与跟踪。

weixin_30995917的博客 394

别光看Demo了!用UE5 Lyra框架快速搭建你的多人对战游戏原型(含完整配置流程)

本文详细介绍了如何利用UE5 Lyra框架快速搭建多人对战游戏原型,包含完整的配置流程和实战案例。Lyra作为可直接二次开发的游戏模板,内置了GAS技能系统、Enhanced Input输入控制等核心功能,大幅缩短开发周期。通过替换角色模型、调整武器数值和配置新地图规则,开发者可在48小时内完成科幻团队竞技游戏原型的搭建。

weixin_28717411的博客 458

手把手教你:在联想/戴尔笔记本上安装华为电脑管家,实现多屏协同(附详细避坑步骤)

本文详细指导如何在联想、戴尔等非华为笔记本上安装华为电脑管家,实现多屏协同功能。从硬件兼容性检查到定制化安装流程,再到功能调优与异常处理,提供了一套完整的解决方案,帮助用户突破品牌限制,享受华为生态的高效办公体验。

weixin_30251829的博客 863

Meta「分割一切」3.0曝光!技能语义分割加入概念提示,好好玩,要爆了

不过需要说明的是,SAM 3对语言的处理还局限于简单的短语提示,不支持复杂的语言表达,并不具备多模态大模型的语言生成、复杂语言理解和推理能力。简单来说,就是在这个官方新版中,分割模型终于能听懂人话了:只要说出想要的东西,SAM 3就能在图像/视频中分割出对应实例。PCS的定义是,给定图像或视频,模型能够基于短语、图像示例,或者两者结合的方式,分割其中所有匹配提示概念的实例。在LVIS数据集的零样本分割任务中,SAM 3的准确率达到了47.0,比此前的SOTA 38.5提升不少。

量子位 121

.NET适配HarmonyOS进展 1. 前言

目前国产化系统浪潮下,适配鸿蒙是中国软件大势所趋,.NET作为最适合开发客户端语言之一,适配鸿蒙系统(HarmonyOS Next)是目前.NET开发者最关心的事情。我目前业余时间正在移植Avalonia到HarmonyOS,去年在.NET Conf CN上分享过,目前又取得一点进展,所以本文把所有问题进行整合与大家进行分享。

2301_76476890的博客 1463

自动驾驶图像分割开源数据集指南(2026)

做分割几乎都从 Cityscapes 下起,下完才发现:BDD 名字带 100K,;不能当监督;SYNTHIA 的 13/16 类 mIoU 和 Cityscapes 19 类不能写在同一格。下面按任务和场景整理我核对过官网的集合,只收带像素级或点级分割标注的。命令以 2026-08 仍能打开的入口为准,404 时回到项目主页,不要死磕旧直链。目录。

weixin_42263762的博客 595

【专业书1】量化交易——从入门到精通

股票季节性策略几乎失效了,但商品期货的仍有效,因为其季节性需求源于真实的经济需求而非投机。交易策略获利的前提:交易价格处于均值回归(低价时买入)或动量状态(降价时先做空后以更低价买入),否则在随机游走状态下是无法有效交易的。构建交易策略实际上是在决定:在特殊条件、特定时间尺度下价格趋势的呈现(均值回归/趋势走势),以及用什么价格作为初始判断的参考价格。如果以高夏普比率为目标,需要更高的交易频率:基于大数定律,押注越多,偏离均值收益的偏差就越小。买同比最好的股票,卖同比最差的股票。但在不同的时间尺度下可以。

weixin_44589682的博客 1552

TC3XX - MCAL知识点(二十九):FLS MCAL配置及代码实战(英飞凌DFLASH)

FLS驱动程序为DFlash 0的初始化、读取、写入和擦除提供了定义良好的配置和标准服务。除此之外,我们还提供一些非autosar服务示例 Fls_17_Dmu_CompareWordsSync、Fls_17_Dmu_CancelNonEraseJobs、Fls_17_Dmu_VerifyErase,LFls_17_Dmu_VerifySectorErase、Fls_17_Dmu_GetNotifCaller等。用户通过FLS驱动程序获得对底层DFlash0的封装访问。

梦想技术家 2366

Ultralytics 中的 SAM 3:概念提示分割(PCS)架构解析与完整实战指南

SAM 3(Segment Anything Model 3)是 Meta 于 2025 年 11 月发布的基础分割模型,其核心创新在于引入 **Promptable Concept Segmentation(PCS,可提示概念分割)**:不再局限于"分割单个实例",而是能用一句文本短语或一张示例图片,分割出图像/视频中**所有**匹配该视觉概念的实例。本文基于当前仓库中 `ultralytics

gitblog_01109的博客 1150

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

在线运行 Llama 3.3 唯一开源 70B 模型,性能堪比 405B!LaTeX OCR 数据集上线,助力数学公式识别

MangaZero 数据集是一个专为漫画生成任务设计的大规模、多角色、多状态的漫画图像数据集,具体包含 43,264 页漫画和 427,147 个带注释的面板,支持在连续帧中可视化各种角色互动和动作,适用于多角色、多状态的漫画生成任务。该数据集是一个包含 3,371 张飞机图像的数据集,这些图像被分为 10 个类别文件夹,每个类别对应一个特定的飞机型号:A10、A400M、AG600、AH64、AV8B、An124、An22、An225、An72 和 B1 等。本文是对该公司的详细报道,点击速看。

HyperAI超神经 1015

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Hindsight自监督语义分割:无标注视频中学习像素级分类的实战解析

计算机视觉中的语义分割通常依赖海量像素级标注,人工成本极高,严重制约了在自动驾驶、机器人感知等场景的落地。自监督学习为突破这一瓶颈提供了新思路,通过设计代理任务从无标注数据中提取语义特征。Meta AI 开源的 Hindsight 模型采用“先看答案再做题”的训练策略,利用视频帧间的时间一致性作为监督信号,配合 K 个可学习查询向量与跨帧特征对齐机制,在不使用 ImageNet 预训练和外部标注的条件下,单卡训练数天即可达到与预训练模型相当的分割效果。本文剖析其核心原理、工程架构与损失设计,并分享复现过程中

weixin_29031057的博客 216

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

码科智能 | Meta又一巨作 以人为中心的视觉基础模型:可用于姿势估计、深度估计、身体分割等任务

Sapiens 标志着将以人为本的视觉模型提升至基础模型领域的重大进步。我们的模型在各种以人为中心的任务上展示了强大的泛化能力。我们将模型的最先进性能归因于:(i) 在专为理解人类量身定制的大型精选数据集上进行大规模预训练,(ii) 高分辨率和高容量的视觉变换器主干的扩展,以及 (iii) 对增强的工作室和合成数据的高质量注释。我们相信这些模型可以成为众多下游任务的关键构建块,并向更广泛的社区提供高质量的视觉主干。未来工作的一个潜在方向是将 Sapiens 扩展到 3D 和多模态数据集

csdn_xmj的博客 1006

Meta发布的自监督ViT DINO的发展史:从DINO、DINOv2到通用视觉特征提取器DINOv3

前言之所以关注到DINOV2,原因在于我解读的多个具身机器人模型的视觉基座都用的它,比如不过,实话讲,DINO论文的可读性是真的不高,使得本次解读不易..总之,本文目前只是个初稿,后面还得花不少时间反复优化。

结构之法 算法之道 2万+

MMagic 视频超分 SPMCS 数据集准备与评测配置全指南

SPMCS(Super-resolution and Motion Compensation from Spatially variant downsampling,出自 ICCV 2017 论文 *Detail-Revealing Deep Video Super-Resolution*)是视频超分辨率(Video Super-Resolution, VSR)领域广泛使用的标准测试基准。本文以

gitblog_00214的博客 204
上一篇: 突破万字长文输出瓶颈!清华大学开源 LongWriter-6k 数据集;7 个 CCF A 类顶会即将截稿...
下一篇: 突破万字长文输出瓶颈!清华大学开源 LongWriter-6k 数据集;7 个 CCF A 类顶会即将截稿
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值