当SAM具备想象力！清华团队新模型SAMEO：连遮挡物体都能完整分割，让分割万物模型再学会「脑补」-优快云博客

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/147178765

人类视觉感知能够超越场景中直接可见的内容，我们通过物体识别和类别先验知识，可以自然地想象并理解被部分遮挡物体的完整形状。即使物体分类困难，也常能通过可见部分分析和常见遮挡模式推理来推断其全貌。

这种基于视觉想象的"完形认知"机制，使人类能够突破物理遮挡的限制。在自动驾驶、工业检测和医疗影像分析等场景中实现精准的物体理解。

如上图的模态分割示例：第一行展示了原始图像。中间一行显示了 SAM 预测的模态掩码，这些掩码仅覆盖物体的可见部分。最后一行展示了本文要介绍的方法， SAMEO（一种即使在遮挡下也能分割任何物体的模型）预测的非模态掩码，这些掩码揭示了物体的完整形状。

从上面的示例可以看出，当前最先进的视觉大模型如Segment Anything Model（SAM），在处理遮挡物体时仍局限于可见区域的片段式分割，无法复现人类这种"以局部窥全貌"的认知飞跃。我们再来看一下复杂的场景：

这篇论文《*Segment Anything, Even Occluded》介绍的方法即使遮挡也能分割万物，论文**链接：*
Paper：https://www.arxiv.org/pdf/2503.06261

一、SAMEO主要贡献与模型简介

非模态实例分割，旨在检测和分割图像中物体的可见和不可见部分。现有方法需要联合训练前端检测器和掩码解码器，但这种方法缺乏灵活性，无法利用现有模态检测器的优势。**SAMEO，采用SAM模型作为多功能掩码解码器，能够与各种前端检测器接口，即使对于部分遮挡的物体也能进行掩码预测。**主要贡献：

灵活框架：通过专项训练使EfficientSAM支持模态/非模态检测器提示
大规模数据集：30万图像的Amodal-LVIS，提供遮挡-未遮挡实例配对样本
数据整合：融合优化现有数据集形成100万图像/200万实例的综合训练集
零样本性能：在COCOA-cls和D2SA基准上实现超越监督方法的零样本表现

非模态分割流程如上图所示。给定一张输入图像，现有的目标检测器首先生成模态框（显示可见区域）或非模态框（显示完整的目标范围）。然后我们的SAMEO（一种即使在遮挡下也能分割任何物体的模型）处理这些检测结果，生成非模态掩码，以恢复物体的完整形状，包括被遮挡的部分。

这里再用一张图来说明一下模态掩码和非模态掩码的区别，注意右下角被遮挡车辆的掩码区别：

*二、****Amodal-LVIS非模态数据集*****

除算法改进外，数据集对学习型方法至关重要，但当前非模态分割数据集存在三大挑战：规模有限：现有数据集图像数量较少，制约模型鲁棒性发展；标注质量：部分自动化生成数据未经充分验证，导致标注不一致甚至错误；无关物体：大量标注实例（如墙壁、地板）对场景理解贡献甚微。

本文提出一种用于非模态掩模分割的合成数据集，通过精确的目标遮挡生成、结合完整的目标集合、合成遮挡生成和双重注释机制来防止模型偏差。结合现有数据集，该集合总共有 100 万张图像和 200 万个实例注释。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述