69、基于协同分割注意力的轻量级遮挡行人重识别模型

基于协同分割注意力的轻量级遮挡行人重识别模型

1. 引言

在行人重识别的应用场景中，遮挡问题普遍存在，尤其是在拥挤的环境里。由于遮挡物的大小、形状和颜色各不相同，解决遮挡问题颇具挑战。虽然姿态信息有助于解决遮挡问题，但通常需要大量的时间和计算资源，而且目前其准确性仍有限。

为了解决这一问题，提出了一种轻量级模型，该模型利用协同分割注意力和局部特征，通过注意力机制来解决遮挡问题。主要贡献如下：
- 首次将基于视频行人重识别的协同分割注意力模块（COSAM）引入到基于图像的行人重识别中，以解决部分遮挡问题，并提出了一种从图像生成伪视频的方法。
- 改进了相关模型，不再简单地融合多个全局特征，而是将融合后的特征分割成多个局部特征，并使用局部特征来衡量图像的相似度。
- 所提出的模型在三个遮挡数据集（Occluded - REID、Partial - REID和P - DukeMTMC - reID）上的性能超过了大多数现有方法，并且与最先进的方法具有竞争力。

2. 相关工作

2.1 遮挡行人重识别

遮挡不仅破坏了原始图像特征的完整性，还引入了与行人无关的干扰信息。为了解决这个问题，一些方法被提出：
- 多任务损失函数：用于引导模型区分整体图像和由遮挡模拟器生成的遮挡图像，使模型学习对遮挡不敏感的特征表示。
- 身体掩码：可用于去除遮挡。例如，可转移的协同显著性子网先在教师网络中使用模拟遮挡图像进行训练，然后在学生网络中通过真实遮挡图像进一步优化。
- 姿态信息：最近被广泛用于提取行人的细粒度局部特征。然而，引入姿态信息不仅使模型更加复杂，还会引入额外的误差，因为姿态提取工具的训练