OSTrack: Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework论文和代码结构解读

论文地址
代码地址

写在前面

OSTrack和ODTrack代码结构和内容基本一致，主要是采样方法有所区别

问题在哪？

• Two-Stream框架提取的特征，对目标的敏感度不高。其提取的特征是在离线训练后确定的，因此Template和Search区域之间没有交互。同时，由于Target是在不断变化的，所以Two-Stream对前景和背景的区分能力是有限的。
• Two-Stream大致就是Template和Search的Feature Map经过特征融合等操作之后，送入Head，这样的过程会浪费算力。
  

作者贡献

• 修改ViT作为Backbone，实现One-Stream的框架；
• 提出Candidate-Elimination模块，在Embedding中筛选Topk的值，消除无信息的背景信息，加强有信息的前景信息；
• 在Patch-Embedding阶段进行特征早融合；
  

具体方法

sample和ce_template_mask生成方法

Search、Template和ce_template_mask各采样一张，这里没什么难度的。
主要是ce_template_mask生成，在OSTrack中，作者使用的是 C T R _ P O