69、基于协同分割注意力的轻量级遮挡行人重识别模型

基于协同分割注意力的轻量级遮挡行人重识别模型

1. 引言

遮挡行人重识别（Occluded Re-ID）旨在解决行人部分被遮挡的问题，因为遮挡会严重降低图像特征的鲁棒性，且在实际应用中十分常见。常见的解决思路是舍弃被遮挡区域，充分利用可见的行人相关区域来表征行人。不过，这些方法通常会使用身体掩码或姿态信息来辅助提取局部特征，却会受到数据集之间的领域偏差影响，从而导致一些识别错误。

受基于协同分割的注意力模块（COSAM）在基于视频的行人重识别中取得成功的启发，我们提出将 COSAM 应用于基于图像的行人重识别，以解决遮挡问题。该模型不依赖任何先验信息，却能在三个公开数据集上取得有竞争力的性能。主要贡献如下：
1. 首次将 COSAM 从基于视频的行人重识别引入到基于图像的行人重识别中，以解决部分遮挡问题，并提出了一种从图像生成伪视频的方法。
2. 改进了现有模型，不再简单地融合多个全局特征，而是将融合后的特征分割成多个局部特征，并使用局部特征来衡量图像的相似度。
3. 所提出的模型在三个遮挡数据集（Occluded - REID、Partial - REID 和 P - DukeMTMC - reID）上的性能优于大多数现有方法，并且与最先进的方法具有竞争力。

2. 相关工作

2.1 遮挡行人重识别

遮挡不仅破坏了原始图像特征的完整性，还引入了与行人无关的混淆信息。为了解决这个问题，一些方法采用多任务损失函数来引导模型区分整体图像和由遮挡模拟器生成的遮挡图像，使模型学习对遮挡不敏感的特征表示。也有方法使用身体掩码来去除遮挡，例如可转移的协同显著性子网，先在教师网络中使用模拟遮挡图像进行训练，然后在学生网