论文阅读学习 - Hard-Aware Deeply Cascaded(HDC) Embedding

Hard-Aware Deeply Cascaded(HDC) Embedding

[Paper-version1]

[Paper-version2]

[Code-Caffe]

摘要：

深度度量学习基本目标是，使相同类别的图片间的距离比不同类别的图片间的距离小.

由于优化问题，通常采用 hard example mining 来只对样本的 hard 子集进行处理.

但，hard 是相对于模型而言的，复杂模型将大部分样本作为 easy 的，而简单模型将大部分样本作为 hard 的，二者结合又难以训练.

启发点：

样本是具有不同的 hard 层次的，但难以定义复杂性合适的模型，且能充分的选择 hard 样本.

因此，以级联方式来集合不同复杂度的模型，以充分挖掘 hard 样本；通过复杂度递增的一系列模型来判断样本，且只对被判断为 hard 的样本进行模型更新.

实验是将 GoogleNet 的两个辅助 loss 分支和一个主 loss 作为级联模型，三个分支 loss 的权重都设为1，三个分支的特征组合成最终的样本特征.

1.1 符号说明

• $\mathcal{P} = \{I_i^{+}, I_j^{+}\}$，训练数据集构建的全部 positive 图片对，$I_i^{+}$ 和 $I_j^{+}$ 是相同标签(label)或者相似标签的图片；
• $\mathcal{N} = \{I_i^{-}, I_j^{-}\}$，训练数据集构建的全部 negative 图片对，$I_i^{-}$ 和 $I_j^{-}$ 是不同标签(label)或者不相关标签的图片；
• $G_k$，第 $k$ 个子网络模块；假设共 $K$ 个网络模块，$G_1$ 的网络输入是图片，而$G_k, k>1$ 的其它模块的输入是前一个模块的输出；$K$ 个网络模块级联地组成前馈网络；$K$ 个模型分别对应 $K$ 个不同深度的子网络；
• $\{o_{i,k}^{+}, o_{j,k}^{+}\}$， 网络 $G_k$ 对于 positive 样本对 $\{I_i^{+}, I_j^{+}\}$ 计算的输出；
• $\{o_{i,k}^{-}, o_{j,k}^{-}\}$， 网络 $G_k$ 对于 negative 样本对 $\{I_i^{-}, I_j^{-}\}$ 计算的输出；
• $F_k$，第 $k$ 个变换函数，将 $o_k$ 转换为低维特征向量 $f_k$，以进行距离计算；
• $\{f_{i,k}^{+}, _{j,k}^{+}\}$，$F_k$ 对于 positive 样本对 $\{I_i^{+}, I_j^{+}\}$ 计算的第 $k$ 个特征向量；
• {f−