CVPR2025 论文精读 《A Distractor-Aware Memory for Visual Object Tracking with SAM2》

👉️关注公众号Tensor实验室，，第一时间获取大厂算法校招、社招信息、最新论文工作(大模型、具身智能、CV、扩散模型、多模态、自动驾驶、医疗影像、AIGC、遥感等方向的论文解读)、最新AI发展趋势和学习资料等，赶快加入一起学习吧！

---

CVPR 2025 论文和开源项目合集请戳 CVPR2025-PapersWithCode

---

AI垂直方向交流群和论文投稿群已成立！

👨‍🔧👩‍🔧👨‍🔬👩‍🔬👨‍🚀👨‍🚒🕵️‍: 欢迎进群 | Welcome

目前已经开设的AI细分垂直方向交流群包括但不限于： 大模型、多模态、具身智能、CV、扩散模型、目标检测、图像分割、目标跟踪、医学影像、遥感、3DGS、Mamba、NeRF、Transformer、GAN、异常检测/缺陷检测、SLAM、人脸检测&识别、OCR、NAS、Re-ID、超分辨率、强化学习、3D重建、姿态估计、自动驾驶、活体检测、深度估计、去噪、显著性目标检测、车道线检测、模型剪枝&压缩、去雾、去雨、行为识别、视频理解、图像融合、图像检索等。

可以添加微信小助手微信：Tensor333或Tensor555，请备注：研究方向+地区+学校/公司名称+昵称！如：大模型+北京+北航+小北；一定要根据格式申请，可以拉你进对应的交流群。

如果目前方向未定的的同学，可以先加入大群（大群和垂直方向群可以同时加入）。可以添加微信小助手微信：Tensor333或Tensor555，请备注：方向未定+地区+学校/公司名称+昵称！如：方向未定+北京+北航+小北；

如果想进顶刊顶会论文投稿和交流群的同学。可以添加微信小助手微信：Tensor333或Tensor555，请备注：顶刊顶会名称+地区+学校/公司名称+昵称！如：CVPR+北京+北航+小北；

---

Authors: Jovana Videnovic, Alan Lukezic, Matej Kristan

Paper: https://arxiv.org/abs/2411.17576

Code:

Home: https://github.com/jovanavidenovic/DAM4SAM

目录

一、现存问题🌟

二、相关研究和难点📚

三、解决方法(创新点)🔥

四、实验结果分析📈

五、未来工作建议💡

六、总结🌳

简介：基于内存的跟踪器是一种视频对象分割方法，它通过将最近跟踪的帧连接到内存缓冲区来形成目标模型，并通过关注当前图像与缓冲帧之间的关联来定位目标。尽管基于内存的跟踪器已在许多基准测试中取得了优异的性能，但最近发布的 SAM2 才使它成为视觉对象追踪社区关注的焦点。然而，现代跟踪器在干扰项存在的情况下仍然举步维艰。我们认为需要一个更复杂的内存模型，并提出了一种新的 SAM2 干扰项感知内存模型和一种基于自省的更新策略，以共同解决分割精度和追踪鲁棒性问题。最终的跟踪器被命名为 SAM2.1++。我们还提出了一个新的干扰项提取的 DiDi 数据集，以便更好地研究干扰项问题。SAM2.1++ 在七个基准测试中的表现优于 SAM2.1 及其相关的 SAM 内存扩展，并在其中六个基准测试中创下了新的最佳性能。

一、现存问题

这篇论文试图解决视觉目标跟踪（Visual Object Tracking）中由于干扰物（distractors）导致的跟踪失败问题。具体来说，论文指出，尽管基于记忆（memory-based）的跟踪器已经在多个基准测试中取得了优异的性能，但在面对干扰物时，现代跟踪器仍然会遇到困难。干扰物是指那些难以与跟踪目标区分的图像区域，包括与目标相似的外部干扰物（如附近的其他物体）以及内部干扰物（如目标自身某些部分的相似区域）。当目标离开并重新进入视野时，外部干扰物尤其具有挑战性。
为了解决这一问题，论文提出了一个新的干扰物感知记忆模型（Distractor-Aware Memory, DAM）以及一种基于内省（introspection-based）的更新策略，旨在同时提高分割精度和跟踪鲁棒性。