STARK:Learning Spatio-Temporal Transformer for Visual Tracking论文及代码结构解读

已于 2024-07-02 17:42:23 修改
阅读量755 收藏 15
点赞数 17
分类专栏： OT论文解读 文章标签： transformer 深度学习 人工智能 目标跟踪 计算机视觉
于 2024-06-24 16:55:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Soonki/article/details/139928577
版权

论文地址
代码地址

写在前面

什么是One-stream和Two-stream，参考文章

Two-stream pipeline

如图所示，search和template分支是独立两根流线，提取特征后计算互相关信息，也是最常用的，缺点是提取的特征缺乏目标的感知性，对目标-背景的区分能力有限，两个patch之间信息交互度较差
two-stream

One-stream pipeline

如图所示，单流程的pipeline在特征完成提取前，就进行了信息交互，然后再进行各种互信息的计算，通用的是template与所有计算search的互信息之前，与search所有部分进行交互。有点是对前景和背景的区分能力强，两个patch间的交互程度高。
one-stream

作者的做法

数据采样

作者在一个序列中采样了
“一张 S e a r c h ”和“两张 T e m p l a t e ”， “一张Search”和“两张Template”， “一张Search”和“两张Template”，
经过NestedTensor打包， 送入backbone，之后生成的特征拼接成维度为 [ B a t c

最低0.47元/天 解锁文章
Learning Spatio-Temporal Transformer for Visual Tracking（论文翻译）
MJ17709005513的博客
11-20 3507
目录 摘要 1.引言 2.相关工作 3.方法 3.1 transformer的基准 3.2时空transformer跟踪 4.实验 4.1 实施细节 4.2 结果和比较 4.3基于组件的分析 4.4与其他框架的比较 4.5 可视化 5.结论 摘要 本文提出了一种以编码-解码器transformer为关键组件的跟踪体系结构。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模，而解码器学习嵌入的查询以预测目标对象的空间位置。我们的方法将目标跟踪作为一...
Learning Spatio-Temporal Transformer for Visual Tracking——精读笔记
学海无涯，快乐行舟
12-08 2380
本篇精读笔记，对原文重要部分做了严格翻译，如摘要和总结。对正文部分做了提炼，对重点部分突出标注。对参考文献做了分类。本文内容较长，如果时间有限可以直接跳到感兴趣的小节阅读。
Learning Spatio-Temporal Transformer for Visual Tracking（STARK）学习笔记
qq_43437453的博客
05-31 476
论文地址：https://arxiv.org/pdf/2103.17154。
【STARK论文翻译阅读】
hai0915的博客
08-07 1265
ICCV2021 同时利用时间信息和空间信息的基于transformer的目标跟踪
STARK论文记录（2021CVPR）：Learning Spatio-Temporal Transformer for Visual Tracking
m0_37412775的博客
04-27 5650
Abstract 本文创新: 提出了一个以编解码Transformer为关键元素的新的追踪架构。编码器建模目标和追踪区域之间的全局时空特征依赖，解码器学习一个查询嵌入(query embedding)来预测目标对象的空间位置。 将目标追踪看作一个直接的边界框预测问题，不需要任何proposal或者predefined anchors。 本文贡献:利用编解码Transformer，目标预测过程仅用了一个简单的全卷积网络，直接估计目标的角点。整个模型是端到端的，不需要任何后处理步骤如cosine windo
论文阅读记录——STARK
m0_53789001的博客
04-03 668
在本文中，我们提出了一种以转换器为关键元件的跟踪结构。编码器对目标物体和搜索区域之间的依赖关系进行建模，而解码器学习来预测目标物体的空间位置。我们的方法将对象跟踪转换为问题，而不使用任何建议或预定义的锚。使用编码器-解码器转换器，对象的预测只使用一个简单的全卷积网络，它直接估计对象的角。整个方法是的，不需要任何后处理步骤，如余弦窗口和边界盒平滑，从而大大简化了现有的跟踪管道。
STARK代码详细学习笔记
m0_37412775的博客
10-20 5508
STARK代码学习笔记前言一、环境安装二、设置项目路径三、训练STARK四、测试STARK1. 下载预训练模型2. 准备测试数据集五、STARK代码细节 前言 本文记录了STARK代码学习阶段的步骤，核心内容从原作者的github中搬运，对于部分内容（如不同数据集的测试语句）仅以一个为例进行展示，详细请查看原github页面。 code链接：https://github.com/researchmm/Stark paper链接：https://arxiv.org/abs/2103.17154 STARK
STARK:Learning Spatio-Temporal Transformer for Visual Tracking
最新发布
06-24
STARK:Learning Spatio-Temporal Transformer for Visual Tracking论文及代码结
单目标追踪——【Transformer】Learning Spatio-Temporal Transformer for Visual Tracking
qq_42312574的博客
07-05 1125
这篇文章提出了一个端到端的Transformer架构，一共有两个具体实现的网络结构——Baseline网络【仅考虑空间特征】+ST网络【同时考虑时序和空间特征】 几个值得注意的点： 网络组成部分： 上图是同时考虑时空的STARK网络结构。蓝色部分是与对空间建模的STARK一样的结构，粉色部分是对时间建模。 这个网络结构的输入加入了一个动态模板，就相当于同时考虑到目标外观的变化。这部分实现主要就是一个Score Head。 从左到右分别是 【动态模板, 初始模板, 搜索区域】组成的输入三元组、最后一层Enco
STARK中的FRI代码解析
mutourend2010@gmail.com
08-15 710
STARK中的FRI代码解析
深度学习算法中的 时空卷积网络（Spatio-Temporal Convolutional Networks）
牛肉胡辣汤
09-21 5857
在网络的前向传播过程中，时空卷积核在整个视频序列上进行滑动，从而提取出时序和空间上的特征。然而，对于一些涉及到时序和空间信息的任务，如视频分析、动作识别和人体姿态估计等，传统的CNNs存在一定的局限性。我们相信，在不久的将来，时空卷积网络将在更多领域展现出强大的能力，并为我们带来更多的惊喜和突破。尽管时空卷积网络在时序和空间信息处理方面取得了显著的成果，但仍存在一些挑战和改进的空间。这是一个简单的示例代码，实现了一个时空卷积网络模型，并在MNIST数据集上进行了训练和评估。
STARK入门知识
mutourend2010@gmail.com
11-24 2211
1. 引言 与zk-SNARK相比，STARK主要有如下不同： 1）传统的zk-SNARK依赖于 尖端的密码学假设，而STARK中的密码学元素仅为 collision-resistant hash function。因此，如果选择理想的hash函数，STARK 为抗量子攻击的。第一代使用bilinear map的SANRK，仅在unfalsifiable assumption下provably secure。 2）STARK中的field arithmetization独立于cryptographic h
多项评测排名第一！大连理工和微软亚研院提出目标跟踪算法STARK
limingmin2020的博客
01-31 924
本文简短介绍大连理工大学和微软亚洲研究院合作的最新工作：Learning Spatio-Temporal Transformer for Visual Tracking，代码已开源。
[多模态预训练模型] Single-stream/Two-stream architectures
taoqick的专栏
12-22 1975
我们通常从三个方面学习了解一个多模态预训练模型：模型架构、预训练任务、预训练数据集，目前层出不穷的各种模型也是针对其中某个或某几个方面做文章。根据模型架构，多模态预训练模型可以分为two-stream和one-stream两大类，前者首先利用两个独立的模型分别处理图片和文本两种单模态信息，然后通过co-attention transformer layers融合两种模态信息；后者首先将两种模态的信息融合，然后直接输入到同一个模型中处理。目前one-stream有ViLBERT[1]、LXMERT[2]、ER
屠榜目标跟踪！大连理工和MSRA提出STARK：基于Transformer的目标跟踪器 | ICCV 2021...
阿木寺的博客
08-04 2640
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文系CVer粉丝投稿 | 编辑：Amusi先来看下STARK在各大数据集上的性能短时跟踪TrackingNet A...
跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification 学习记录笔记
weixin_43898295的博客
03-16 6738
目录 原文链接 摘要: 1 介绍 1.1 数据集： 1.2 贡献 1.3 评估 2 网络结构比较 2.1 One-stream Structure 2.2 Two-stream Structure 2.3 Asymmetric FC layer structur 3 网络结构 3.1 单流和双流结构的连接 3.2 单流结构 3.3 备注 4深度零填充 4.1 网络输入分析 4.2RGB-IR深度零填充 5 实验 5.1 模型比较 5.2模型分析 原...
【目标跟踪】|OSTrack
qq_35608277的博客
07-10 7856
ECCV 2022 paper Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework之前的跟踪框架都是将特征提取和特征融合分为两步来做的，先分别提取Template和Search的特征，然后在两者之间进行相关，得到的特征用于计算最终的跟踪结果（Two Stream, Two Stage）。这样做存在以下两个缺点：1.特征提取阶段template和search间没有交互，提取到的特征是目标无关的，判别
【综述】视频无监督域自适应（VUDA）的小综述
猫猫头的博客
05-31 1503
一篇小综述，大家看个乐子就好，参考文献来自于一篇综述性论文这次基于三篇有代表性的文章来讲解。
【目标跟踪】|STARK
qq_35608277的博客
07-01 4444
本文使用transformer集成时间上下文信息 通过更新输入的动态模板（文中设置200帧），获得时间上下文信息，再利用transformer进行处理 transformer 本身对空间上下文具有更好的建模能力新架构包含三个关键组件：编码器、解码器和预测头。编码器接受初始目标对象、当前图像和动态更新模板的输入。输入是由一个搜索区域和两个模板组成的三元组。它们来自主干的特征首先被展平并连接，然后发送到编码器。 编码器中的自注意力模块通过其特征依赖性学习输入之间的关系。由于模板图像在整个视频序列中更新，编码器可
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值