专注计算机视觉全栈知识分享

随着人工智能技术的飞速发展，X-AnyLabeling 作为一款集多功能于一体的图像标注软件，致力于为用户提供更高效、更智能的标注解决方案。笔者深知，在实际应用中，用户面临着多样化的标注需求和复杂的数据处理挑战。因此，笔者将力争在有限的资源不断开发、探索和整合最新的算法模型，并优化工作流，以期帮助用户简化标定流程，提升标定效率。X-AnyLabeling 从项目启动至今，始终秉承开放和合作的精神，并欢迎来自各地的开发者和用户共同参与到项目的建设中来。

Segment Anything 2 (SAM2) in X-AnyLabeling: 构建快速精准的图像和视频标注对象分割工具

X-AnyLabeling 是一款基于AI推理引擎和丰富功能特性于一体的强大辅助标注工具，其专注于实际应用，致力于为图像数据工程师提供工业级的一站式解决方案，可自动快速进行各种复杂任务的标定。

本文介绍了Semantic-SAM，它可以以任何所需的粒度对任何物体进行分割和识别。除了进行通用的开放词汇的分割，Semantic-SAM展示了语义感知和丰富的粒度的优势。为了实现这些优势，论文在数据、模型和训练方面进行了改进，利用了多个粒度和语义级别的数据集、多选择学习的训练方法以及通用的建模框架。全面的实验和可视化验证了论文模型的语义感知和丰富的粒度。此外，Semantic-SAM是首次成功尝试在SA-1B和其他经典分割数据集上进行联合训练。

本文提出了SA3D，这是一种将SAM推广到使用神经辐射场（NeRF）作为结构先验进行三维物体分割的新框架。基于训练好的NeRF和单个视角中的一组提示，SA3D执行迭代过程，包括渲染新的2D视图，通过自我提示进行2D分割，并将分割投影回3D掩模网格中。SA3D可以高效地应用于各种三维分割任务。论文的研究为将视觉基础模型从2D提升到3D的资源有效方法提供了启示。

分割和检测任务并行计算。此外，还采用了由SAM发布的广泛SA-1B数据集，通过仅在SA-1B数据集的2%（1/50）上直接训练该CNN检测器，它实现了与SAM相当的性能，但大大降低了计算和资源需求，从而实现了实时应用。而通过实例分割分支，YOLOv8-Seg非常适用于segment anything任务，该任务旨在准确检测和分割图像中的每个对象或区域，而不考虑对象的类别。具体而言，本文将该任务转换为经过广泛研究的实例分割任务，并仅使用SAM作者发布的SA-1B数据集的1/50进行训练现有的实例分割方法。

因此，作者提出了一个新的模型HQ-SAM，能够在保持原始SAM模型的零样本能力和灵活性的同时，预测出极高精度的分割掩膜。为了保持SAM的零射能力，轻量级的HQ-Output Token复用了SAM的掩膜解码器，并生成了新的MLP（多层感知器）层来执行与融合后的HQ-Features（高质量特征）的逐点乘积。具体来说，作者将SAM模型的ViT编码器的早期层次特征、ViT编码器的最后一层全局特征以及SAM模型掩模解码器的掩模特征进行了融合，生成了新的高质量特征（HQ-Features）。