xuan971130的博客

Chaoqun Wang, Chunyan Xu, Zhen Cui, Ling Zhou, Tong Zhang, Xiaoya Zhang, Jian YangPCALab, Key Lab of Intelligent Perception and Systems for High-DimensionalInformation of Ministry of Education, School of Computer Science and Engineering,Nanjing Universi

摘要： 低质量模态在RGBT跟踪中不仅包含大量的噪声信息，而且包含判别特征。然而，现有的RGBT跟踪算法并没有很好地探索低质量模态的潜力。在这项工作中，提出一种新的双门控互条件网络，充分利用所有模态的判别信息。同时抑制数据噪声的影响。具体来说，设计了一个互条件（mutual condition）模块，该模态以一个模态的判别信息为条件，指导另一个模态中目标外观的特征学习。该模态在存在低质量的模态下，可以有效地增强所有模态的目标表示。为了提高条件的质量并且进一步减少数据噪声，提出了一种双门控机...

Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang and Huchuan Lu1School of Information and Communication Engineering, Dalian University of Technology, China2Peng Cheng Laboratory Remark AICVPR 2021摘要： Correlation acts 在跟踪领域起着关键性作用，尤其是在最...

sds

in Advances in Neural Information Processing Systems（NIPS） 2018摘要：

Rui Yang, Yabin Zhu, Xiao Wang, Chenglong Li, Jin TangHefei, Anhui Province, China2019 IEEE International Conference on Image Processing (ICIP)1.摘要 RGBT跟踪试图利用互补的视觉和热红外数据定位目标。现有的RGBT跟踪器通过鲁棒特征表示学习或自适应模态加权来融合不同的模特。然而，如何整合双注意机制进行视觉跟踪仍是一个尚未研究的课题。本...

1.引言 为了提高通用适配器和模态适配器的表示，作者希望减少通用适配器中不同模态的特征表示，因为通用特征应该包含共享信息；同时增加模态适配器中差异，因为这些特征应该包含模态特定信息。注意，通用适配器和模态适配器有多层，因此，本文设计了一个分层发散损失（HD Loss），每一层都嵌入一个分层发散损失。（为什么要加入分层发散损失，加了有什么作用，如何加呢。）为了提高对异常值的鲁棒性，采用多核最大均值差异（the multiple kernel maximum mean discrepancy...

**Dense Feature Aggregation and Pruning for RGBT Tracking**the 27th ACM International Conference2019/10/15Y Zhu，C Li，B Luo，J Tang，X Wang对不同模态进行有效信息融合是提升RGBT跟踪性能的核心因素。本文提出一种基于端到端训练卷积网络表示的深度融合算法。为了部署所有层特征的互补性，提出了一种递归策略来密集地聚集这些特征，从而在每个模态中产生目标对象的健壮表示。

chenglong Li, Lei Liu, Andong Lu, Qing Ji, and JinTang1.RGBT挑战： 光照变化（illumination variation）、热交叉（thermal crossover）和遮挡（occlusion）等2.RGBT深度学习方法分类：（1）多模态表示学习（如MANet）（2）多模态融合模型（如mfDiMP）（3）上述两种的混合模型（如DAPNet）1.引言 目前存在的RGBT跟踪器，...

Cross-Modal Collaborative Representation Learning and a Large-ScaleRGBT Benchmark for Crowd CountingAccepted by CVPR2021Lingbo Liu1, Jiaqi Chen1, Hefeng Wu1, Guanbin Li1,2, Chenglong Li3, Liang Lin1,4*研究领域：RGBT行人计数提出了一种跨模态协同表示学习框架，包含多个模态特定分支，一个..

https://www.sohu.com/a/414474326_823210

Multi-Adapter RGBT Trackinghenglong Li,Andong Lu,Aihua Zheng,Zhengzheng Tu,Jin Tang2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)一、贡献：提供了一个用于RGBT跟踪的端到端的训练深度网络（MANet），MANet包含三种适配器，可以提供更强大的RGBT深度表示，更好地处理RGBT跟踪中各种各样的挑战。同时..

SEED = 0 torch.manual_seed(SEED) torch.cuda.manual_seed(SEED)刚开始用了上面的代码，结果跑测试的时候每次每次测试结果都不一样。看博客又加了一句，改成了如下： SEED = 0 torch.manual_seed(SEED) torch.cuda.manual_seed(SEED) np.random.seed(SEED)每次跑出来的测试结果终于一样了。参考博文：https://cloud.tencen.

以下代码取自MDNetdef train(model, criterion, optimizer, pos_feats, neg_feats, maxiter, in_layer='fc4'): model.train()#启用Batch Normalization和Dropout batch_pos = opts['batch_pos']#32 batch_neg = opts['batch_neg']#96 batch_test = opts['batch_test'

此代码选自MDNet中，生成正样本。samples_ = self._gen_samples(bbox, remain * factor)#产生remain*factor个正样本 idx = np.ones(len(samples_), dtype=bool)#产生一个全为1的数组。len（）返回第一维的元素的个数。 if overlap_range is not None: r = overlap_

看代码还是挺好理解的。def overlap_ratio(rect1, rect2): ''' Compute overlap ratio between two rects - rect: 1d array of [x,y,w,h] or 2d array of N x [x,y,w,h] ''' if rect1.ndim == 1:#ndim返回数组的维度。 rect1 = rect1[None, :]#如果维度为1，

原代码： # vary aspect ratio 调整边界框的宽高比，这里自己不要过分纠结。不是很明白aspect是什么意思。也不知道它的取值 if self.aspect is not None: ratio = np.random.rand(n, 2) * 2 - 1#博客中说这里是生成均匀分布的随机样本。[0,1)*2-1,我也不知道为什么要这样算。我感觉是一个比率 samples[:, 2:] *= self.aspe

该函数用了两次，一次是用来初始化优化器，一次是用来更新优化器。在初始化中，fc4，fc5的lr为0.0005，fc6的lr为0.005在更新优化器中，fc4，fc5的lr为0.0001，fc6的lr为0.001import torchimport torch.nn as nnfrom collections import OrderedDictimport numpy as npimport torch.nn.functional as Fimport collectionsim.

def append_params(params, module, prefix): for child in module.children(): for k,p in child._parameters.items(): if p is None: continue if isinstance(child, nn.BatchNorm2d): name = prefix + '_bn_' + k .

layers = nn.Sequential(OrderedDict([ ('conv1', nn.Sequential(nn.Conv2d(3, 96, kernel_size=7, stride=2), nn.ReLU(inplace=True),#激活函数，同时inplace设置为True，原值将会被覆盖。 n.

def append_params(params, module, prefix): for child in module.children(): for k,p in child._parameters.items(): if p is None: continue if isinstance(child, nn.BatchNorm2d): name = prefix + '_bn_' + k .

import osimport jsonimport numpy as npdef gen_config(args): if args.seq != '': # generate config from a sequence name seq_home = 'datasets/OTB' result_home = 'results' seq_name = args.seq#输入时，获取的视频名称，实验中，获取的名称为D.