整理：四种基于SAM图像处理的技术点改进

最新推荐文章于 2025-04-09 09:17:46 发布

mslion

最新推荐文章于 2025-04-09 09:17:46 发布

阅读量1.7k

点赞数 19

文章标签：计算机视觉人工智能

本文链接：https://blog.youkuaiyun.com/mslion/article/details/143034375

版权

随着计算机视觉领域的快速发展，图像分割技术在众多应用中发挥着越来越重要的作用。分割一切模型（Segment Anything Model, SAM）作为一种先进的图像分割技术，旨在实现对各种对象的自动分割，展现出卓越的灵活性和准确性。图像分割不仅限于传统的场景分析，还扩展至遥感图像处理，后者通过卫星或飞机等平台获取的高分辨率图像被广泛应用于环境监测、城市规划和农业评估等领域。然而，源域与目标域之间的域差距常常导致模型性能下降，因此，解决域适应问题成为提高模型泛化能力的关键。

为了应对自然图像之间的差距，我们总结了四种基于SAM的技术点改进。

论文1

PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images

方法：

利用 SAM 的零样本功能，我们采用了一种自训练框架，该框架迭代生成伪标签进行训练。但是，如果伪标签包含噪声标签，则存在错误累积的风险。为了解决这个问题，我们从目标数据集中提取目标原型，并使用匈牙利算法将它们与预测原型进行匹配，以防止模型朝错误的方向学习。此外，由于 RSI 中的背景复杂且物体分布密集，使用点提示可能会导致多个物体被识别为一个。为了解决这个问题，我们提出了一种基于实例掩码不重叠性质的负提示校准方法。简而言之，我们使用重叠掩码的提示作为相应的负信号，从而得到精细的掩码。结合上述方法，我们提出了一种新的点监督分割一切模型，名为 PointSAM。

创新点：

（1）我们引入了基于原型的正则化（PBR），它在实例级别对齐源模型和目标模型的特征，利用动态原型更新和匈牙利算法来提高模型泛化能力。

（2）我们开发了负提示校准（NPC），它在训练过程中自适应地调整负提示，提高了密集场景ios中预测掩模的准确性。

（3）我们通过对三个RSI 数据集（NWPU VHR-10、WHU 和HRSID）进行大量实验证明了PointSAM 的有效性，显示了点监督下分割性能的显着改进。此外，我们将 PointSAM 的应用扩展到面向点监督的对象检测任务中的边界框生成，展示了其多功能性以及在基于点的监督学习场景中更广泛使用的潜力。

结果：

论文2

Bootstrap Segmentation Foundation Model under Distribution Shift via Object-Centric Learning

方法：

我们引入了 SlotSAM，这是一种以自我监督的方式重建编码器特征以创建以对象为中心的表示的方法。然后将这些表示集成到基础模型中，增强其对象级感知能力，同时减少与分布相关的变量的影响。SlotSAM 的优点在于其简单性和对各种任务的适应性，使其成为一种多功能解决方案，可显着增强基础模型的泛化能力。

创新点：

（1）引入Bootstrap方法：论文中使用了Bootstrap策略来增强模型的鲁棒性，尤其是在处理分布变化时。这种方法通过重新采样和生成多样本，帮助模型更好地适应不同的数据分布。

（2）物体中心学习：研究者提出了物体中心的学习方法，强调对图像中各个物体的识别和分割。这种方法不仅关注全局特征，还能增强对局部特征的学习，从而提高分割的精确度。

（3）分布变化下的适应性：论文特别关注如何在训练和测试阶段数据分布不同的情况下进行有效的图像分割。通过设计新的损失函数和训练策略，模型能够在面对未知分布时保持较高的性能。

结果：

论文3

CAT-SAM: Conditional Tuning for Few-Shot Adaptation of Segment Anything Model

方法：

我们提出了 CAT-SAM，这是一种 ConditionAl Tuning 网络，它以数据高效的方式探索 SAM 对各种具有挑战性的下游领域的少量适应性。核心设计是一个即时桥结构，可以实现重量级图像编码器和轻量级掩模解码器的解码器条件联合调整。桥接将掩模解码器的特定领域特征映射到图像编码器，促进两个组件的协同适应，仅与少量目标样本互惠互利，最终在各种下游任务中实现卓越的分割。