图文检索（25）：Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval

---

发布时间（2020）

---

标题：基于细粒度草图图像检索的跨模式层次建模

摘要

草图作为图像搜索查询是文本的理想替代品，可以捕捉精细的视觉细节。之前在基于草图的细粒度图像检索 (FGSBIR) 方面的成功证明了解决草图与照片相比的独特特征的重要性，例如时间与静态、笔触与像素以及抽象与像素完美。在本文中，我们研究了迄今为止被忽视的草图的另一个特征，即它们在细节级别方面是分层的——人们通常会绘制不同程度的细节来描绘一个物体。这种层次结构通常在视觉上是不同的。在本文中，我们设计了一个新颖的网络，它能够培养特定于草图的层次结构并利用它们在相应的层次级别上将草图与照片进行匹配。具体来说，使用跨模态协同注意力来丰富素描和照片的特征，并结合各级分层节点融合，形成更好的嵌入空间来进行检索。在常见基准上的实验表明，我们的方法比最先进的方法有显著的优势。

3 方法

总体思想
1）sketch or photo 内部都是语义不断聚合
2）sketch 和 photo 模态之间跨模态共同注意

overview
Backbone Feature Extractor
1）特征提取器：InceptionV3
区域特征region-wise feature，将每个笔画当作一个区域框。Ns个笔画
选择搜索算法从photo中选择子区域。Np个子区域

Hierarchical Parsing Module
节点逐渐合并，形成更高级语义（higher order sem