关于Transformer和SiamFC的一些笔记和学习链接

最新推荐文章于 2024-12-15 22:00:17 发布
原创 最新推荐文章于 2024-12-15 22:00:17 发布 · 401 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #mfc #深度学习

这篇博客汇总了关于目标跟踪的资源，包括王树森的DRL Github仓库、知乎上的目标跟踪transformer文章、SiamFC的相关实现（MATLAB、PyTorch、TensorFlow）以及CVPR2021的TransT跟踪算法。还提到了2021年CVPR关于目标跟踪的研究论文集合。
部署运行你感兴趣的模型镜像

2021.10.19
王树森Github网址：https://github.com/wangshusen/DRL

2021.10.15
知乎上三篇文章（关于目标跟踪transformer的），已经看了一篇了，总结在了word中，还有两篇，作者还没有更新，请注意一下！
https://zhuanlan.zhihu.com/p/416413600

2021.10.13
SiamFC相关：
https://blog.youkuaiyun.com/qq_36449741/article/details/99696195

matlab代码：https://github.com/bertinetto/siamese-fc

pytorch代码：
https://github.com/rafellerc/Pytorch-SiamFC（最开始下载的这个版本，看了train.py等几个代码）
https://github.com/huanglianghua/siamfc-pytorch（目前根据这个来的，因为找到了相关的博客讲解）
【博客讲解地址：https://blog.youkuaiyun.com/laizi_laizi/article/details/104473021】

https://gitee.com/wendinghe/SiamFC-PyTorch

tensorfolw代码：https://github.com/torrvision/siamfc-tf

CVPR2021跟踪算法TransT的配置（Transformer Tracking）
https://blog.youkuaiyun.com/qq_17783559/article/details/119111028?spm=1001.2014.3001.5501

2021.10.08
关于目标跟踪的2021CVPR
https://github.com/amusi/CVPR2021-Papers-with-Code#Object-Tracking

2021.10.07
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

Cl2212
关注
读书笔记：基于Transformer的 Siamese 网络用于变化检测
qq_42075634的博客
03-18 2518
摘要： 本文提出了一种基于变压器的连体网络架构（缩写为 ChangeFormer），用于从一对共同配准的遥感图像中进行变化检测（CD）。与最近基于全卷积网络 (ConvNets) 的 CD 框架不同，所提出的方法在 Siamese 网络架构中将分层结构的 Transformer 编码器与多层感知 (MLP) 解码器相结合，以有效地渲染所需的多尺度远程细节获得准确的 CD。在两个 CD 数据集上的实验表明，所提出的端到端可训练 ChangeFormer 架构比以前的同类架构实现了更好的 CD 性能。 #文章
[Pytorch] Transformer+Siamese进行文本相似度分析
LeYOUNGER的博客
01-08 7206
摘要 使用Transformer 代替RNN进行sentence-level context的encode Requirements Pytorch >= 0.4.1 Python >= 3.5 General Usage Transformer 用于进行encode的transformer我已经写好放在Git上了，小伙伴随意取用，别忘记点星星哟～ https://githu...
论文解读：ChangeFormer | A TRANSFORMER-BASED SIAMESE NETWORK FOR CHANGE DETECTION
a486259的博客
03-22 4329
1、本文实验中STANet居然没有FC-EF、FC-Siam-Di、FC-Siam-Conc这很有可能是backbone性能差异导致的（其所使用的pspnet明显是古董网络） 2、非多尺度特征方法(FC*,STANet*)在DSIFN-CD数据集上性能下降明显，在DSIFN-CD上明显是需要大尺度的低级语义才能做判断；(在LEVIR-CD上每一个变化区域都是一个实例[建筑]，而在DSIFN-CD上一个变化区域对应着多个变化实例[建筑]，依赖高层语义会使区域所对应的特征发生弥散，从而使区域判断不准) 3、Ch
Siamese Transformer Pyramid Networks for Real-Time UAV Tracking(论文翻译)
MJ17709005513的博客
10-21 4393
论文地址：https://arxiv.org/pdf/2110.08822.pdf Code：https://github.com/RISC-NYUAD/SiamTPNTracker 目录 摘要 1.引言 2.相关工作 2.1 轻量级网络 2.2 目标跟踪 3.提出的方法 3.1 特征提取网络 3.2 特征融合网络 3.3 Transformer金字塔网络 3.4 预测头 4.实验研究 4.1 实施细节 4.2 消融实验 4.3与最先进的跟踪器的比较 4.4真...
CVPR 2022 | Transformer再屠榜！南大提出MixFormer：端到端目标跟踪新网络
阿木寺的博客
03-23 6604
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：王利民 |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/485189978本文介绍一下我们在单目标跟踪(VOT)领域的新工作MixFormer——基于 transformer 的简洁的端到端模型。MixFormer打破了传统的跟踪范式，通过模板...
精选资源
ai大模型学习和实践学习笔记：Transformer 模型和注意力机制的关系
09-01
Transformer模型是基于注意力机制的架构，注意力机制是Transformer模型的核心组成部分。 在传统的循环神经网络（如RNN）中，信息在序列中逐步传递，但难以捕捉全局上下文关系。而注意力机制允许模型在处理序列数据...
【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 2568
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
精选资源
Transformer学习笔记
08-07
Tranformer源码
关于Mamba和Mamba-2经典论文的学习笔记总结，以及Mamba和Transformer的对比总结，欢迎交流
qq_66536007的博客
07-01 9258
分享一下Mamba的经典论文学习笔记，以及Mamba-2的提出，简单的对Mamba和Transformer的异同进行了归纳，本此分享从第一部分Mamba的提出背景和结构原理，第二部分Mamba与Transformer的异同，第三部分mamba-2的提出背景和结构原理，第四部分我的个人学习心得，这四个方面进行总结，欢迎交流
【Transformer】学习笔记
qq_53236757的博客
11-23 1543
参考视频提示：以下是本篇文章正文内容，下面案例可供参考词嵌入：将单词转换为向量表示，捕捉语义信息。位置编码：提供序列中每个位置的位置信息。位置嵌入：将词嵌入与位置编码相加，结合语义信息和位置信息。
Siamese Transformer Pyramid Networks for Real-Time UAV Tracking(SiamTPN：用于实时无人机跟踪的孪生Transformer) 翻译
wang6562009的专栏
08-03 1644
近年来，无人机（UAV）跟踪因其在路径规划[25]、视觉监控[43]和边境安全[44]等多个领域的巨大潜力而受到越来越多的关注。尽管视觉目标跟踪方法已经取得了长足的进步，但实时跟踪问题仍未得到足够重视。此外，性能较低的小型设备上固有的电源资源限制进一步制约了无人机跟踪的发展。由于移动设备上软件和硬件的优化，以及轻量级但强大的骨干网络[24, 36, 41]的进步，基于视觉分类、目标检测和实例分割的实时应用已经在CPU端实现。
Siamese Transformer Pyramid Networks for Real-Time UAV Tracking
weixin_58244117的博客
04-26 608
本文没有迁移复杂的transformer的编码器和解码器范式，而是利用transformer的编码器，并设计了一个基于注意力的特征金字塔融合网络，以更有效地学习目标特定模型。1、使用轻量级卷积神经网络ShuffleNetv2中的固有的特征金字塔，再用transformer对特征金字塔进行强化，构建鲁棒性较强的特定目标的外观模型。的启发，最近的作品引入了基于注意力的模块，并取得了较好的成果。有三种方法可以降低计算成本：（1）减小查询大小，（2）减小C的维数，或（3）减小键和值的大小。以避免计算/存储器开销。
深度强化学习基础
小吴同学的小屋
02-10 549
王树森深度强化学习网课的笔记记录，包含了强化学习基本概念，简单的价值学习和策略学习介绍
单目标追踪——【Transformer】Transformer Tracking
qq_42312574的博客
07-05 6623
这篇文章是利用Transformer设计了一个新的基于注意力的特征融合网络和一个Siamese结构的集成该融合网络的追踪方法TransT。 在TransT中该融合网络以替换传统Siamese框架中的correlation相关操作。 几个值得注意的点： 这个模块主要就是多头自注意力机制+位置编码Sin函数。与原始的Transformer中的多头自注意力机制一样。所以这个模块叫上下文语境的增强模块也正是因为Transformer中Encoder的自注意力的全局特性。 这个模块应用了Transformer的Dec
深度强化学习（王树森）笔记05
阿正的梦工坊
01-28 1937
AlphaGo和更强的AlphaGo Zero的原理，蒙特卡洛树搜索MCST
深度强化学习（王树森）笔记09
阿正的梦工坊
01-29 1679
带baseline的策略梯度方法：REINFORCE with baseline和advantage actor-critic (A2C)
深度强化学习（王树森）笔记11
阿正的梦工坊
01-30 1704
策略学习的高级技巧:置信域策略优化 (TRPO)
【下】王树森《小红书推荐系统公开课》- 课程笔记（特征交叉、行为序列、重排/推荐系统多样性、物品冷启动、涨指标的方法）
qq_43629945的博客
12-15 3130
特征交叉（因子分解机FM、深度交叉网络DCN、LHUC/PPNet、SENet&Bilinear Cross&FiBiNet）； 行为序列（用户lastN序列特征、DIN&注意力机制、长序列建模SIM）； 重排（多样性、物品相似性的度量、MMR多样性算法、滑动窗口&业务规则约束、DPP多样性算法&Hulu的快速求解算法）； 物品冷启动（优化目标&评价指标、简单的召回通道、聚类召回、Look-Alike人群扩散召回、流量调控、冷启AB测试）； 涨指标的方法（评价指标、召回、粗精排、多样性、特殊人群、交互行为）
王树森：学 DRL 走过的弯路太多，想让大家避开
图灵教育
12-04 4428
大家都知道，深度强化学习（Deep Reinforcement Learning，DRL）就是应用了神经网络的强化学习。而强化学习是机器学习的一个分支，研究如何基于对环境的观测做出决策，以最大化长期回报。从 20 世纪 80 年代至今，强化学习一直是机器学习领域的热门研究方向。大家耳熟能详的经典强化学习方法——Q 学习、REINFORCE、actor-critic——就是 20 世纪 80 年代提...
transformer学习和复现笔记
最新发布
03-04
### 关于 Transformer 模型的学习资料与复现笔记 #### 学习路径规划 对于希望深入理解和掌握 Transformer 模型的人来说，一份结构化的学习路线至关重要。这不仅涵盖了理论基础的理解，还包括实践操作中的具体指导[^2]。 #### 理论讲解与实现细节 针对 Encoder 部分的具体工作原理进行了详细的解析，并通过 PyTorch 实现了逐行代码解释，使得读者能够更直观地了解每一部分的功能以及它们是如何协同工作的[^1]。 #### 性能表现分析 在特定的任务场景下（如WMT 2014英德翻译任务），大型变压器模型展示了显著优于先前最佳模型的表现，建立了新的 BLEU 分数记录。此成就证明了该架构的有效性和潜力所在[^3]。 #### 数据处理流程说明 当涉及到实际的数据集时，区分训练、验证和测试阶段非常重要。特别是在预测环节中，不再需要提供标签信息作为输入的一部分，这一点值得注意并会在后续版本中展示具体的编码调整方法[^4]。 #### 应用领域拓展探讨 除了自然语言处理外，Transformers 还被应用于其他领域，比如医学影像分割任务。尽管存在一定的挑战性，但已有研究尝试将 Vision Transformers(ViT)引入到此类应用场景当中，并取得了一定成果；不过考虑到医疗数据的独特性质，仍需进一步探索最优解决方案[^5]。 ```python import torch.nn as nn class TransformerModel(nn.Module): def __init__(self, d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1): super().__init__() self.transformer = nn.Transformer(d_model=d_model, nhead=nhead, num_encoder_layers=num_encoder_layers, num_decoder_layers=num_decoder_layers, dim_feedforward=dim_feedforward, dropout=dropout) def forward(self, src, tgt): output = self.transformer(src, tgt) return output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值