论文解读|MetaAI图像分割基础模型SAM——解锁数字大脑“视觉区”

 原创  |  文  BFT机器人

内容提要

• 事件背景: 

  2023年4月5日，MetaAI研究团队发布论文“分割一切”一《Segment Anything》并在官网发布了图像分割基础模型一Segment Anything Model(SAM)以及图像注释数据集Segment-Anything 1-Billion(SA-1B)。

• 论文核心观点 :

目标: 

MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型:1)可提示的图像分割任务;2)数据标注并通过提示实现零样本到一系列任务的分割模型-SAM ;3)拥有超过10亿个掩码的数据集-SA-1B。

功能: 

1)SAM允许用户仅通过单击或通过交互式单击点来包含和排除对象来分割对象，也可以通过边界框进行提示

2)当分割对象存在歧义时，SAM可以输出多个有效掩码，是解决现实世界中分割的重要和必要能力之一

3)SAM可以自动查找并掩盖图像中的所有对象;4)SAM可以在预计算图像嵌入之后即时为任何提示生成分割掩码，从而允许与模型实时交互。结论:SAM模型试图将图像分割提升到基础模型时代，而SAM是否能达到基础模型的地位还有待观察它在社区中的使用情况，但无论该项目前景如何，超过1B的掩码以及可提示的分割模型为其未来发展奠定了基础。

启发: 我们认为，SAM模型在SA-1B强大分割数据集的支撑下，可以通过各种形式的提示对图像下，无需额外训练即可自动完成分割任务，这一通用特性使得SAM模型在相关领域的推广应用达指令成为可能。

我们认为，SAM模型有望作为效率提升的工具，赋能自动驾驶、医疗健康、安防监控农业科技等领域，跨视觉模态和相关场景将从中收益。游戏娱乐、农业科技等领域，跨视觉模态和相关场景将从中收益。

2023年4月5日，MetaAI发布论文《Segment Anything》。论文指出MetaAI的目标是通过引入三个相互关联的部分来构建一个用于图像分割的基础模型：

1）可提示的图像分割任务。

2）数据标注并通过提示实现零样本到一系列任务的分割模型SAM。

3）拥有超过10亿个掩码的数据集-SA-1B。

论文介绍Segment Anything(SA)项目主要包括了用于图像分割的新任务、模型和数据集。指出AI团队发现SAM在多任务上具备竞争力，且它的零样本性能让人印象深刻。

通过在数据收集循环中使用高效模型AI团队构建了迄今为止最大的分割数据集，在1100万张许可和尊重隐私的图像上有超过10亿个掩码。该模型被设计和训练为可提示的，因此它可以将零样本转移到新的图像分布和任务中。

文章提到，MetaAI研究团队在https://segment-anything.com上发布了Segment AnythingModel(SAM)和相应的1B掩模和11M图像数据集(SA-1B)，以促进对计算机视觉基础模型的研究

01 介绍：

根据论文表述，SA的目标是建立一个图像分割的基础模型，即寻求开发一个可提示的模型，并使用能够实现强大泛化的任务在广泛的数据集上对其进