23、基于单图像和跨图像表示联合学习的行人重识别方法

基于单图像和跨图像表示联合学习的行人重识别方法

1. 预测机制

在行人重识别任务中，单图像表示（SIR）和跨图像表示（CIR）都可用于图像匹配。对于给定的图像对 $(x_i, x_j)$，使用欧氏距离 $|f(x_i) - f(x_j)|_2^2$ 作为 SIR 的匹配指标，使用 $w^T g(x_i, x_j)$ 作为 CIR 的匹配指标。然后将这两个指标进行组合，得到匹配分数：
$S(x_i, x_j) = |f(x_i) - f(x_j)|_2^2 + \lambda w^T g(x_i, x_j)$
其中，$\lambda$ 是权衡参数，可通过交叉验证来确定。在实验中，成对比较模型中 $\lambda$ 设为 0.7，三元组比较模型中 $\lambda$ 设为 1。将 $S(x_i, x_j)$ 与阈值 $t$ 进行比较，若 $S(x_i, x_j) < t$，则认为 $x_i$ 和 $x_j$ 匹配，否则不匹配。

此外，还将基于成对和三元组比较公式的学习模型的匹配分数进行组合，分别记为 $S_P(x_i, x_j)$ 和 $S_T(x_i, x_j)$，组合后的匹配分数为 $S_{P\&T}(x_i, x_j) = S_P(x_i, x_j) + \mu S_T(x_i, x_j)$，其中 $\mu$ 在实验中设为 0.5。

2. 深度卷积神经网络

2.1 网络架构

为了联合训练 SIR 和 CIR，采用深度卷积神经网络（CNN），而不使用手工制作的图像特征。对于成对比较公式，需要确定图像对 $(x_i, x_j)$ 的 SIR（$f(x_i)$ 和 $f(x_j)$）和 CIR $g(x