基于联合贝叶斯准则的深度特征融合车辆再识别

论文题目：Vehicle Re-Identification by Deep Feature Fusion Based on Joint Bayesian Criterion（ICPR）

---

Abstract：

车辆重识别不同于行人重识别，其挑战性在于同种款式的不同车辆之间差异十分细小。本篇论文提出了双网络深度融合特征，两个网络可以提取输入图像的不同层面的特征并可以互相补充。通过提出的联合贝叶斯损失可以优化不同层面深度特征的融合，进而最小化类内间距，最大化类间间距，比较适合于车辆重识别任务。

Framework：

本文使用两个CNN网络来提取不同层面的特征，CNN1为CaffeNet，CNN2类似于NIN，其MLP卷积层具有很好的局部抽象能力。在得到两个网络的特征后，使用三层全连接网络进行特征融合，最后使用Softmax损失与联合贝叶斯判别损失进行了联合优化，获取强大的判别能力。

CaffeNet是一个小型网络，主要由5个卷积层、3个池化层、2个norm层与3个全连接层。结构如下：

 

NiN网络中的mlpconv卷积结构可以增强模型在感受野（receptive field）内对局部区域（local patches）的辨别能力。

类似的CNN2具体组成如下表：

 普通卷积与mlp卷积的比较：

中间使用了两个1x1卷积与非线性操作，进行了所有通道间特征块的一个感知融合，具有更好的局部特征感知提取能力。

贝叶斯判别损失：

贝叶斯方法在人脸验证应用中具有很好的效果。

车辆特征可以由两部分组成，一部分是正确的身份信息，一部分是身份偏差，两者都服从高斯分布。

其中  ，，假设有两辆车的特征x1，x2，Hi表示同一车辆假设，He表示不同车辆假设。

两者的分布分别为，它们各自的协方差如下：

 

联合贝叶斯概率比：

贝叶斯损失如下定义：

 softmax损失：

 网络的整体损失：

 实验结果：

试验在VehiclleID数据集上取得了很不错的效果，而且数据量越大，优势越明显。

总结：

多种层面特征融合是比较很好的应用技巧，而使用的贝叶斯损失很好地引导这个特征的融合。