层级表征提升图像检索准确率

层级表征改善图像检索

图像匹配有许多实际应用。例如，某中心的StyleSnap或某中心购物应用的相机搜索等图像检索系统，允许客户上传照片以搜索相似的图像。图像匹配通常通过将图像映射到一个表征空间（嵌入空间），并寻找映射位置相近的图像来实现。

在一篇于WACV 2022会议上发表的论文中，我们阐述了在训练神经网络计算图像表征时，通过显式建模对象层次结构，如何提高图像检索的准确性。

简化层次结构示例

以一个购物网站为例，它可能将一组产品归类为“服装”，这是一个包含“T恤”和“连帽衫”类别的超类，而这两个类别又包含具体的T恤和连帽衫实例。

在我们的论文中，展示了在构建图像检索系统时如何利用此类层次结构，或者在没有层次结构的情况下如何构建它们。在将我们的方法与九种先前方法在五个不同数据集上使用多种性能指标进行比较的实验中，发现我们的方法在绝大多数情况下都取得了最佳结果。

深度度量学习

用于图像检索的图像匹配通常依赖于深度度量学习，其中深度神经网络不仅学习如何将输入映射到嵌入空间，还学习用于测量该空间中邻近度的距离函数。

训练DML网络有两种主流的损失函数：成对损失和代理损失。

• 成对损失：在正负样本对之间计算，将正样本对拉近，同时将负样本对推远。
• 代理损失：学习一组称为“代理”的嵌入，这些代理代表一个类别成员的平均位置（类中心点）。每个训练样本的损失是相对于这些代理计算的。

成对损失需要从训练数据中采样信息量大的样本对/三元组；而代理损失则不需要，这消除了样本对采样的复杂性并加快了训练速度。特别是，代理锚损失已被证明能够达到最先进的图像检索准确率，同时比成对损失收敛得快得多。

我们的工作提出了一种新的代理损失，它显式地利用类别层次结构信息来提高图像检索准确率。

分层数据与分层嵌入空间

对于具有层次结构的数据，有机会通过损失函数对嵌入空间施加额外的约束，使得同一超类中的图像也聚集在一起。这不仅有助于模型泛化到未见过的类别，还将在模型出错时产生更合理的检索结果。

分层代理损失

我们的分层代理损失是现有代理损失的扩展。HPL由一个代理层次结构组成，每个训练图像在每一层都被分配到一个单独的代理。然后，损失计算为所有层级代理损失的加权和。

在每一层，每个图像被拉向其分配的代理，并远离所有其他代理。这促使网络通过在每个层级学习每个组内的共性来对图像进行分层分组。

那么，当数据层次结构未提供时，如何构建代理层次结构呢？在这种情况下，我们在训练期间对较低层级的代理应用在线聚类以获得较高层级的代理。

我们从一个经过训练、能生成最细粒度层级代理的DML模型开始。然后运行以下训练算法：

1. 对精细代理运行聚类算法以获得粗略代理；将每个样本分配给一个粗略代理。
2. 训练网络T次迭代，同时更新网络和细粒度代理。
3. 每经过T次迭代后，更新样本对粗略代理的分配，并通过平均分配的较低层级代理来更新较高层级的代理。
4. 重复步骤2-3直至收敛。

实验结果

我们在最新的代理损失基础上实现了HPL，并进行了评估。在五个标准度量学习数据集上评估图像检索准确率，发现HPL始终优于两种基线方法，达到了新的最先进水平。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）