<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Soonki的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Soonki</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Soonki]]></copyright><item><title><![CDATA[ROMTrack论文解读和代码pipelline]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/156651175</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/156651175</guid><author>Soonki</author><pubDate>Tue, 06 Jan 2026 17:40:23 +0800</pubDate><description><![CDATA[本文提出了一种基于MixFormer架构改进的视觉目标跟踪方法ROMTrack，通过结合分离模板建模(STM)和混合模板建模(HTM)的优势，解决了现有方法在目标特征保持和交互方面的不足。核心创新包括：1)设计了固有模板和混合模板的双重建模框架，在保持目标固有特征的同时实现充分交互；2)引入高效的变量令牌机制，动态适应目标变化。方法采用两阶段训练策略：Stage1训练基础网络，Stage2进行微调，通过冻结网络提取关键特征。推理阶段采用类似MixFormer的KV缓存策略，兼顾效率和性能。实验表明该方法在保]]></description><category></category></item><item><title><![CDATA[MixFormer论文和代码Pipeline解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/156609063</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/156609063</guid><author>Soonki</author><pubDate>Mon, 05 Jan 2026 17:52:02 +0800</pubDate><description><![CDATA[本文解读了MixFormer目标跟踪框架，分析了其创新点和实现细节。MixFormer通过混合注意力模块(MAM)统一特征提取和融合过程，克服了传统Siamese网络特征提取独立、信息割裂的局限性。MAM采用非对称注意力机制，同时处理模板和搜索区域特征；并设计了评分预测模块(SPM)进行高质量模板的在线更新。推理阶段通过KV缓存复用优化计算效率。实验表明，该框架能有效处理目标形变、遮挡等挑战，充分发挥Transformer的全局建模能力。代码实现清晰展示了MAM的双分支注意力机制和SPM的模板更新策略。]]></description><category></category></item><item><title><![CDATA[BERT:BidirectionalEncoderRepresentations fromTransformers代码及数据解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/141266191</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/141266191</guid><author>Soonki</author><pubDate>Fri, 16 Aug 2024 20:04:21 +0800</pubDate><description><![CDATA[由于官网给的是TensorFlow版本的，github也有pytorch版本，但是给出的pytorch的代码是需要根据实际情况进行修改的。]]></description><category></category></item><item><title><![CDATA[Align before Fuse Vision and Language Representation Learning with Momentum Distillation解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140691924</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140691924</guid><author>Soonki</author><pubDate>Fri, 26 Jul 2024 18:14:41 +0800</pubDate><description><![CDATA[不要被这个名字给唬住了，在深度学习中，知识就是神经网络中的权重和偏置等可学习参数。把一个大的模型，迁移到一个小的模型中，类似剪枝、量化等，不过技术路线不同，功能一致；把多个模型的功能，迁移到一个模型中，相当于一个模型集成了多个模型的能力；数据安全，如果说A公司训练了一个web-scale级别的数据集，但是实际上商用功能只需要部分数据，可以利用知识蒸馏，推出多个模型，避免原始模型数据泄露；]]></description><category></category></item><item><title><![CDATA[Transformer之Swin-Transformer结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140576625</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140576625</guid><author>Soonki</author><pubDate>Tue, 23 Jul 2024 17:29:42 +0800</pubDate><description><![CDATA[很多人说，Swin-Transformer就是另一种Convolution，但是解释得真就是一坨shit，这里我郑重解释一下，这是为什么？首先，Convolution是什么？Convolution是一种矩形区域内参数共享的Linear这么说可能不好理解，那么我们上代码上述代码通过了使用输入数据的维度变换，实现了利用nn.Linear来进行nn.Conv2d的过程，当然，nn.Conv1d甚至nn.Conv3d等也是同样操作。这里我们先记住，后面我们详细解释。]]></description><category></category></item><item><title><![CDATA[Transformer之Vision Transformer结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140589509</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140589509</guid><author>Soonki</author><pubDate>Sun, 21 Jul 2024 18:09:44 +0800</pubDate><description><![CDATA[什么是Transformer呢？就是把符号向量化为Token， 再和位置编码求和或者做阿达玛积，最后送入一定层数的构成的Encoder和Decoder，就完成了Transformer的基础功能。那么，把上述过程，用在图片上面，这就是Vision Transformer，简称ViT。]]></description><category></category></item><item><title><![CDATA[Transformer之位置编码的通俗理解]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140549929</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140549929</guid><author>Soonki</author><pubDate>Sat, 20 Jul 2024 17:57:25 +0800</pubDate><description><![CDATA[在之前介绍的：两篇文章中，我们介绍了Token被作为一个整体送入Attention中进行计算，这样才能得到各个Token之间的关联。在NLP中，词语的顺序至关重要，比如说"爱做"和"做爱"，相同的词语所表达的意思却天差地别，所以编码器会把带有顺序信息的向量一同送入Attention中；在CV中，图像被nn.Conv2d切成一个个小块，然后把小块变成B11C的点，这些点共同构成送入Attention的patch_embedding，虽然对顺序的要求没有那么高，但是也是有一定要求的。]]></description><category></category></item><item><title><![CDATA[Transformer之Attention的通俗理解]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140525197</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140525197</guid><author>Soonki</author><pubDate>Thu, 18 Jul 2024 17:52:02 +0800</pubDate><description><![CDATA[按照输入数据维度分类，Attention可分为普通Attention和Multi-Head Attention。上面是普通的Attention，下面的是Multi-head attention实际上，他就是将输入数据从BNC[B, N, C]BNC变成B×numheadsNCB×numheadsNC，然后再输入到Attention模块中进行注意力计算。那么这么做有什么好处呢？上面说道。]]></description><category></category></item><item><title><![CDATA[Transformer之Token的通俗理解]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140439403</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140439403</guid><author>Soonki</author><pubDate>Thu, 18 Jul 2024 17:42:44 +0800</pubDate><description><![CDATA[首先解释为什么不能用Encoder-Decoder的模型(原因和GAN是相同的)，因为输入和输出是相同的，模型在训练中会什么都不做，导致模型崩溃，这样根本无法解析出词向量。这些语言除了统计学规律，是不具备任何数学计算的能力的，所以，需要利用一定的映射方法，将其映射为数学语言，比如：数字或者矩阵。的维度填充，然后刨除部分维度，实现降维，使得编码结果对语义的信息表达不仅限于维度，还可以通过维度的长度表达。总结一下，就是把单词之类的语言，从one-hot形式的高维表达，通过矩阵变换实现降维，]]></description><category></category></item><item><title><![CDATA[OSTrack: Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework论文和代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140400994</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140400994</guid><author>Soonki</author><pubDate>Sat, 13 Jul 2024 16:28:05 +0800</pubDate><description><![CDATA[OSTrack和ODTrack代码结构和内容基本一致，主要是采样方法有所区别代码中使用了很多CE的前缀，比如，vit_ce、ce_block等，这就是单纯的使用了candidate_elimination模块，所以会加一个ce前缀。]]></description><category></category></item><item><title><![CDATA[ODTrack: Online Dense Temporal Token Learning for Visual Tracking论文及代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/140388513</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/140388513</guid><author>Soonki</author><pubDate>Fri, 12 Jul 2024 21:56:23 +0800</pubDate><description><![CDATA[代码中使用了很多CE的前缀，比如，vit_ce、ce_block等，这就是单纯的使用了candidate_elimination模块，所以会加一个ce前缀。]]></description><category></category></item><item><title><![CDATA[STARK:Learning Spatio-Temporal Transformer for Visual Tracking论文及代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/139928577</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/139928577</guid><author>Soonki</author><pubDate>Mon, 24 Jun 2024 16:55:32 +0800</pubDate><description><![CDATA[什么是One-stream和Two-stream，参考文章。]]></description><category></category></item><item><title><![CDATA[FeatUp: A Model-Agnostic Framework for Features at Any Resolution论文和代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/139807813</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/139807813</guid><author>Soonki</author><pubDate>Wed, 19 Jun 2024 17:54:54 +0800</pubDate><description><![CDATA[FeatUp从任意图像特征中进行上采样，给现有的语义信息中增加空间分辨率。可学习的高分特征可以作为图片的隐式网络或者通用的上采样操作，而这种操作就是一个即插即用的模块，用于改善下游的密集型预测任务。]]></description><category></category></item><item><title><![CDATA[GRM: Generalized Relation Modeling for Transformer Tracking论文模型及代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/139801419</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/139801419</guid><author>Soonki</author><pubDate>Wed, 19 Jun 2024 15:49:32 +0800</pubDate><description><![CDATA[如图所示，search和template分支是独立两根流线，提取特征后计算互相关信息，也是最常用的，缺点是提取的特征缺乏目标的感知性，对目标-背景的区分能力有限，两个patch之间信息交互度较差。]]></description><category></category></item><item><title><![CDATA[NVIDIA驱动、CUDA、Cudnn、Pytorch、MMCV和显卡算力对应关系以及安装]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/136881152</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/136881152</guid><author>Soonki</author><pubDate>Wed, 20 Mar 2024 19:11:29 +0800</pubDate><description><![CDATA[还是需要安装的，不然大概率安装驱动是会报错的。首先，建议把ubuntu镜像换成华为的，个人感觉这个还是蛮快的执行为安装的GCC和G++设置优先级如果不想设置优先级，可以用建立软连接的方法。]]></description><category></category></item><item><title><![CDATA[AiATrack: Attention in Attention for Transformer Visual Tracking模型及代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/136682558</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/136682558</guid><author>Soonki</author><pubDate>Wed, 13 Mar 2024 16:17:24 +0800</pubDate><description><![CDATA[典型的Transformer跟踪框架中，通过自注意力模块增强参考帧和搜索帧的特征表示，并通过交叉注意力模块桥接它们之间的相关性，以在搜索帧中预测目标。作者引入了AiA（Attention in Attention）模块，字面意思，就是在一个Attention中，再引入一个Attention，并把该模块作为Encoder和Decoder的basis。，但是令人费解的是，这么庞大的网络结构，这么多的参数，在一个2080Ti显卡上居然能有38FPs。作者引入的AiA模块，就是基于。]]></description><category></category></item><item><title><![CDATA[UniRepLKNet: Universal Perception Large-Kernel ConvNet模型结构和代码结构解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/136509530</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/136509530</guid><author>Soonki</author><pubDate>Wed, 06 Mar 2024 17:04:26 +0800</pubDate><description><![CDATA[UniRepLKNet: Universal Perception Large-Kernel ConvNet]]></description><category></category></item><item><title><![CDATA[SiamSE: Scale Equivariance Improves Siamese Tracking论文和代码解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/131361813</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/131361813</guid><author>Soonki</author><pubDate>Mon, 26 Jun 2023 21:59:48 +0800</pubDate><description><![CDATA[结果依赖于所选的规范，但是对于各个规范都是等价的，例如对向量场进行变换，输出的向量场也会产生对应变换；对Kg的质量场进行变换，则以斤为单位的质量场也会变换。也就是说template和search进行相似度计算后，数值最大的地方是目标所在地，而数值非常小的是背景(已经经过了softmax)。是标准做法，这样可以有效保存图像的空间信息，但是补零的话，会让卷积追踪器的定位属性裂化。当且仅当在规范卷积的情况下，追踪器对于规范群的变换也是等变的。，这种特性和相似特征的正交性是非常符合的。是规范等变卷积层构成的，]]></description><category></category></item><item><title><![CDATA[球谐函数的理解]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/131252784</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/131252784</guid><author>Soonki</author><pubDate>Fri, 16 Jun 2023 23:03:31 +0800</pubDate><description><![CDATA[计算机通过存储正交基的系数，从而压缩位置信息（例如环境光，即三维模型实际上是一个没有贴图的位置坐标，通过球谐函数记忆环境光的系数，从而简化过程）。在极坐标中，由径向的三角圆谐函数(1)和角向的复指数函数(2)组合而成的函数系(3)。，意思就是这一组正交基可以拟合出球面上任何一个点，如果是正方体，这种就没法拟合了。类似，该过程类似傅里叶变换，称之为广义傅里叶变换，而。第一个方程式距离的方程，第二个方程式角度的方程。，这三组正交基在空间的形状如图所示。决定了正交基的组数和波瓣的数目。阶的表达式为，就是所有。]]></description><category></category></item><item><title><![CDATA[Rotation Equivariant Networks for Tracking论文解读]]></title><link>https://blog.youkuaiyun.com/Soonki/article/details/131252684</link><guid>https://blog.youkuaiyun.com/Soonki/article/details/131252684</guid><author>Soonki</author><pubDate>Fri, 16 Jun 2023 19:37:37 +0800</pubDate><description><![CDATA[1.  Introduction

The task of visual object tracking with Siamese networks, referred as Siamese tracking, transforms the problem of tracking into similarity estimation between a template frame and sampled region from a candidate frame.
孪生网络是把追踪任务描述成templat]]></description><category></category></item></channel></rss>