qq_33977080的博客

在实际做实验的过程中，cuda of memory问题很常见，在整理过网上的思路后，大致有如下几种：减小batch_size（常用）或减小模型参数和输入的大小（很少用到）。在测试过程中加上如下语句：with torch.no_grad()内存就不会分配参数梯度的空间。训练过程中遇到此情况可尝试在训练前释放cuda内存。nvidia-smi 查看gpu的使用率，若使用率不高就使用torch.cuda.empty_cache()释放内存这次又出现了新的问题，我将我遇到的情况总结如下：#在修

1. 源代码class OriTripletLoss(nn.Module): """Triplet loss with hard positive/negative mining. Reference: Hermans et al. In Defense of the Triplet Loss for Person Re-Identification. arXiv:1703.07737. Code imported from https://github.com/

文章来源：Learning by Aligning- Visible-Infrared Person Re-identification using Cross-Modal Correspondences1. 解决的问题&总结1.1 解决的问题本文主要解决了VI-ReID问题：从一系列跨模态的人物图像中找到目标可见或红外光图像。假设人物图像粗略对齐，以前的方法是学习粗糙人物图像或固定部分级别的人物表示，而这些表示在不同模式中是有区别的，现有的方法裁剪的人物图像又不一定对齐，这会影响模型的效率

Parameter Sharing Exploration and Hetero-center Triplet Loss for Visible-Thermal Person Re-Identification1. 解决的问题解决白天可见光和夜晚红外热成像的人员匹配问题，通过使用共享的双流网络进行研究。VT-ReID问题面临的两个问题：可见光和红外光的图片性质差别较大。由于摄像头视点变化和不同的人体姿势导致的模态内度量困难。一般此问题都是采用双流的网络解决，将不同模态的特征映射到公共空间中。

expAT：双向指数角度三元组损失Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identification1. 解决的问题因为欧氏距离不能有效地测量角度可判别特征嵌入。并且因为角度鉴别特征空间对基于嵌入向量的行人图像分类十分重要。双向指数角度三重损失：通过显式约束嵌入向量之间的夹角帮助学习角度可分离的公共特征空间。2. 提出的方法作者提出双向指数角度三元组损失，使用余弦距离来衡量包括角度的距

Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-IdentificationBDTR: 双向中心约束的排序损失1. 解决的问题红外光和可见光图像之间差异大，而且存在大量的噪声，无法学习可判别的特征。而现有的方法对噪声图像具有弱鲁棒性。多模态问题中出现模态间的特征映射关系不准确以及模态内变化巨大的问题。2. 模型概览提出双向中心聚合的排序损失函数同时考虑模态内和模态间的变化。提出双向中心约束

红外行人重识别的动态双注意力聚合学习Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification1. 解决的问题：现有的VI-ReID倾向于全局表示，这种表示具有有限的可分辨率性和对噪声图像的弱鲁棒性。解决跨模态的行人重识别中模态对齐问题。2. 方法概述：提出动态双注意聚合的学习方法DDAG，通过挖掘VI-ReID的模态内部分级和跨模态图级上下文线索。模态内加权部分注意模块(IW

ViTAA：自然语言搜索中文本属性的视觉对齐概括：这篇文章解决了什么问题，用了什么方法，有什么效果，你有什么收获这篇文章从属性特定对齐学习的角度来解决自然语言中人员搜索的问题。方法：允许将特定属性短语固定到相应的视觉区域。模型学习使用一个辅助属性分割层将一个人的特征空间分解成与属性对应的子空间。然后，通过一种新颖的对比学习方法（k倒数采样），将这些视觉特征与从句子中解析出来的文本属性联系起来。收获：该方法充分利用不同身份的视觉和文本模式中的共同属性信息，并利用对齐学习模式在视觉属性特征和相应的文本短

7.22 京东 Fast-ReID论文阅读1. 解决的问题FastReID是京东AI研究中广泛使用的软件系统，有高度模块化和可扩展的设计，有好的可管理的系统配置和工程部署。FastReID是统一实例重标识库，允许其他人员将其他代码块插入到ReID系统，从而进一步快速的将研究思想转移到生产模型中。提供person reid，partial person reid，vehicle reid。2. 模型概述FastReID的亮点：模块化和可扩展设计：可以快速实现他们的想法，无需重写数十万行代码。可

0. 怎么看论文怎么看论文：带着目的，你是想要解决什么问题，这篇论文的摘要能给你带来什么收获。摘要、结论：是否和你的研究方向高度相关，或者如果你应用这个模型能解决什么问题。引言部分：作者为什么额开展这项研究。这篇文章是否值得精读。深度挖掘结论和讨论部分：如何开展实验获得初始数据、数据分析解读数据内涵等。做笔记（Endnote、Mendeley）：列出对自己有价值核心信息，方便后面定位相关文献。或者表格列出文献：序号、文献名称、文献类型、发表年份、关键部分、研究方法、存在

Learning Resolution-Invariant Deep Representations for Person Re-Identification学习分辨率不变的的深度表示用于行人重识别RAIN解决的问题现实场景查询图像可能会出现分辨率丢失的问题，这篇文章就是解决行人重识别中分辨率不匹配的问题。论文创新点提出新的网络结构解决跨分辨率的行人重识别，替代原有的应用图像超分辨率模型。提出对抗学习策略，提取分辨率不变的重识别表示，类似于自动编码器的结构，保留图像的标识能力。同时以端到端的训练方

基于换衣服的行人重识别问题总结现有行人重识别的缺点：过度依赖衣服颜色导致将衣着相似的人混淆。本文基于人物图像的轮廓草图来执行跨服装的Re-ID，以利用人体的形状而不是颜色信息来提取对适度服装变化鲁棒的特征。算法概述假设短时间内行人轮廓变化不大并且天气也没有显著变化时，要从轮廓草图中提取可靠且有区别的曲线模式，轮廓草图为克服同一个人的图像之间的差异提供了可靠和有效地视觉线索。本文开发了一种基于学习的空间极坐标变换(SPT)来自动选择/采样相对不变的、可靠的和有区别的局部曲线模式。此外，我们引入角度特

Anchor-Free Person Search无锚的行人搜索框架（AlignPS）Feature-Aligned Person Search Network（特征对齐的行人搜索网络）解决的问题解决不同级别的错位问题：提出对齐的特征聚合模块，通过遵循“reid first”的原则来生成更具有区分性和鲁棒性的特征嵌入。本文提出：无锚检测模型的典型架构，带有对齐特征聚合模块（AFA），AFA通过利用可变形卷积和特征融合来克服重识别特征学习中区域和尺度错位的问题，重塑FPN一些构造块。one

1. 错误处理首先出现了什么

1. 环境配置将代码从github上下载解压之后需要配置python环境，然后安装requirements.txt中的依赖，然后我们进入readme界面，下载好maskrcnn_benchmark，将其引入到项目文件夹中，第一个问题出来了，

Partial Person Re-identification with Part-Part Correspondence Learning行人重识别中的部分对部分的对应学习论文地址：Paper解决的问题将重点放在识别部分（有缺陷的）输入，借助部分-部分对应学习（PPCL），这是以种自监督学习框架，无需任何额外的部分级监督即可学习图像块之间的对应关系。同时将本文的模型应用于人脸识别中，效果也能提高。文章概述本文提出一个部分-部分对应学习（PPCL）解决部分行人重识别问题。提出门控布局整流器

视频中基于时空相关性和拓扑学习的行人重识别Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos解决的问题：本文提出一个新的时空相关性和拓扑学习框架(CTL)，通过建立跨尺度的时空相关性来追求有区别的和鲁棒的表示。利用一个CNN主干和一个关键点估计其从人体中提取多个粒度的语义局部特征作为图节点。通过考虑全局上下文信息和人体的物理联系，探索了一种上下文增强拓扑来构造多尺度图。

论文链接：GRL框架论文论文总结本文提出一个基于视频的全局引导的交互学习框架（GRL Global-guided Reciprocal Learning)。提出全局引导相关估计生成局部特征和全局特征的特征相关图，然后将区分特征分界为高相关特征和低相关特征。提出全局特征估计模块生成解纠缠视频表示下的引导图。提出一种新的TRL（时间交互学习）模块，可以有效监控信息和视频中的细粒度信息，用于依次增强高相关性语义信息和积累低相关性亚关键线索。模型特点：可以增强来自高相关区域的显著信息，还可以积累来

阅读论文SiamMOT网络我现在的问题：问题描述： 给定一个目标进行跟踪，注意观察到人物的遮挡、进入人群中或者视角变化等因素下SiamMOT专注于改进局部跟踪，在轨迹不可见的情况下也能向前跟踪，即跟踪器知道连续τ\tauτ帧未能跟踪到相应的目标是才终止轨迹。在线跟踪器在实时场景中专注于改进连续帧上的局部连接，而不是构建一个离线图来识别跨大时间间隔的实例。文章主要工作：提出SiamMOT模型，使用基于区域的特征开发（显式）模板匹配来估计实例运动能够对跟踪场景（快速运动）更加鲁棒。在Faster

首先 在命令行中输入anaconda-navigator新建anaconda环境选择python版本 然后点击确定在pycharm中选择对应项目，进行环境配置file -> settings -> project: -> python Interpreter然后选择我们创建好的python环境在pycharm终端下cd /home/username/下载pip install torch-1.8.0+cu111-cp36-cp36m-linux_x86_64.w.

MOTR: End-to-End Multiple-Object Tracking with Transformer论文地址：arXiv论文源码：code1. 概述现有方法的缺点：缺乏从数据中学习时间变化的能力。采用简单的启发式方法（空间或外观相似性），这些方法简单不足以模拟复杂的变化，例如通过遮挡进行跟踪。本文介绍的MOTR是一个完全端到端的多目标跟踪框架，学习模拟物体的长时间变化，隐式的执行时间关联，避免以前的显示启发式。在Transformer，DETR，MOTR的基础上引入轨迹查询的概念。

Repulsion Loss: Detecting Pedestrians in a Crowd排斥损失：检测人群中的行人论文链接：arXiv1. 论文思路本文通过为拥挤场景设计普通边界框回归损失，即排斥损失。这种损失分为两部分：目标的吸引和周围其他物体的排斥。排斥损失可以防止proposals转移到周围的对象从而有更强的鲁棒性。解决的问题：当目标行人T被另一个行人B重叠时，因为检测器混淆导致以T为界限的预测框很可能会转移到B，从而导致定位不准确。更进一步，NMS使得从T偏移的边界框可能被B的预测

Occlusion-aware R-CNN：Detecting Pedestrians in a Crowd遮挡感知R-CNN：在人群中检测行人1. Overview文章提出了新的遮挡感知算法来提高人群中的检测精度，具体而言设计一个新的aggregation loss去靠近并紧凑的定位到相对应对象。同时，使用一个新的汇集单元来代替RoI汇集层，以便将具有可见性预测的人体先验结构信息集成到网络中来处理遮挡。此文章使用的数据集(CityPersons, ETH, INRIA)AggLoss==不仅

阅读论文的步骤：查阅文献->阅读文献->文献复现->找文献的不足进行改进->研究出成果1. 论文思路通过将目标跟踪任务分解为像素级别的分类和在像素处对象边界框回归的两个子问题，提出一种新的全卷积孪生神经网络，以每个像素方式端到端的解决视觉跟踪问题。SiamCAR由两个简单的子网构成：一个用于特征提取的Siamese subnetwork和一个用于边界盒预测的分类回归子网络。框架以ResNet50为骨架网络。SOTA的方法SiamRPN，SiamRPN++和SPM都是基于区域的，

首先提出一个问题，目标跟踪的流程是什么样的或者说怎么去实现目标追踪？这里结合老师的讲解，具体流程如下：给定第M帧图像，在M+1帧上结合M帧的位置在其周围邻域内进行搜索，通过交叉相关衡量检测框与模板框的相似度，在有限的穷举之后选择前后两帧相关程度最大的作为目标的下一个运动点，然后将前后两帧的位置进行连接就会形成一个短小的目标轨迹，以此类推，目标的运动轨迹就出现了，这也就是时间滑动窗口的原理。在此引入两个概念，交并比（IoU）和非极大抑制（NMS）在目标追踪时，生成候选样本的速度会直接决定跟踪系统表现的优

Fully- Convolutional Siamese Networks for Object Tracking用于目标追踪的全卷积孪生神经网络论文链接：arXiv1. 概述问题是跟踪视频中任意对象的问题，其中对象仅通过第一帧中的矩形来识别。虽然计算机视觉中的其他问题已经越来越普遍的采用的从大型监督数据集训练的深度卷积网络，但是监督数据的稀缺和实时操作的限制阻止了深度学习在每个视频学习一个检测器的范例的完美应用。本文提出的方法在数十里现阶段训练深度卷积网络来解决更一般的相似性学习问题。然后在跟

Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking多目标多摄像机跟踪的局部感知外观度量本文要介绍的是澳洲国立大学（Australian National University）郑良老师实验室和清华大学电子系计算机视觉实验室合作的工作《Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking》。文章链接：arXiv；代码：re-

关于目标追踪问题和重识别问题的一点学习笔记，参考知乎大佬的帖子：重识别（re-ID）特征适合直接用于跟踪（tracking）问题么？首先，tracking问题和re-ID问题的本质区别：局部匹配和全局匹配。...