双曲面嵌入技术提升商品检索效果

使用双曲面改进商品检索

许多机器学习模型依赖于嵌入的概念，即将数据映射到表示空间，以便以有用方式操作或测量数据。通常，数据嵌入是空间中的一个点——一个向量。近年来，某机构及其他机构的研究人员一直在探索双曲嵌入的概念，即不是将数据嵌入为空间中的点，而是作为曲面上矩形的高维类比。这具有诸多优势，其中之一是能够捕捉数据点之间的层次关系。

在今年国际网络搜索与数据挖掘会议（WSDM）上，我们与同事发表了一篇关于使用双曲嵌入进行商品检索的论文。由于商品目录通常按层次结构组织，单个商品属于一系列越来越通用的类别（例如平板电脑/计算机/电子产品），双曲嵌入特别适合此任务。

在该方法中，将查询（例如“Fire TV”）表示为双曲空间中的矩形，称为双曲面。查询匹配是那些向量嵌入位于双曲面边界内的商品。

新的商品检索方法将查询嵌入为双曲面，即曲面上矩形的高维类比。每个双曲面由两个向量表示：定义双曲面中心的质心向量和限制向量。多词查询的嵌入是其组成词嵌入的交集（红色多边形）。

在实验中，将此方法与九种使用向量嵌入的不同方法以及一种在欧几里得空间中将数据嵌入为矩形框的方法（本质上是双曲面的非弯曲版本）进行比较。使用两个不同数据集和五种不同的检索准确性度量，发现该方法在所有方面表现最佳。在某些情况下，改进非常显著——相对于最佳向量嵌入方法提高33%，相对于欧几里得框嵌入提高27%。

该方法还有助于模型可解释性，因为使用注意力机制来确定查询字符串的哪些元素与商品的哪些属性最相关。给定查询的注意力值提供了一种简单方法来可视化模型选择特定商品的理由。

例如，一项实验显示，当查询包含短语“daily moisturizer”时，模型在选择标题中含有“lotion”的商品时会关注“moisturizer”一词。

双曲嵌入的优势

欧几里得框嵌入和双曲嵌入的一个优势是它们可以根据查询的通用性进行扩展和收缩。例如，对于查询“Fire”（也包括Fire平板和Fire立方体）对应的嵌入将大于查询“Fire TV”对应的嵌入。

同样，两种方法都提供了一种组合查询的有效方式。例如，查询“Fire TV stick with Alexa”的嵌入将是“Fire TV stick”和“Alexa”对应嵌入的交集，而查询“Fire or Kindle”的嵌入将是“Fire”和“Kindle”嵌入的并集。

双曲空间相对于欧几里得空间的优势在于表示层次结构。双曲空间本质上是弯曲的，这意味着可以免费获得弯曲的表示能力。

例如，层次树可以映射到一个球体上，使得树的根位于球体中心，叶节点位于表面，树的其他层位于中间等距位置。在欧几里得空间中，表示该球体需要三个维度，但在双曲空间中，仅需要两个维度。这种降维使双曲面能够高效建模层次关系，即使层次树非常庞大。

在论文中，使用两个向量定义双曲面：一个向量表示双曲面的中心（质心），另一个表示从质心到双曲面边缘的距离。这种紧凑表示进一步提高了在双曲空间中计算的效率。

模型架构

机器学习模型将产品查询和候选产品标题作为输入。所有输入文本被分解为重叠的三字符块（三元组）。

编码器将查询和产品的三元组映射到双曲空间。查询映射是双曲面，而产品映射是双曲向量。然后，交集层通过查找查询中每对三元组嵌入的交集来生成一组新的双曲面。

查询三元组及其交集然后传递到注意力层，该层在训练期间学习哪些查询元素与哪些产品标题最相关。每个产品标题的嵌入也传递到自注意力层，该层学习哪些标题元素往往与产品检索查询最相关。

ANTHEM架构示意图

根据注意力值，模型计算一组新的向量，表示新查询嵌入双曲面的质心和产品标题的新嵌入，所有这些都偏向于注意力模型识别为最重要的特征。双曲面和产品向量的交集决定了向客户展示哪些产品以及展示顺序。

注意，不直接基于数据层次结构的表示训练模型。在某种程度上，它使用层次关系，只是从训练数据中学习它们。

注意力机制计算的权重提供了一种可视化产品检索模型决策理由的方法。在这些图中，y轴表示查询的三元组，x轴表示产品标题的三元组。有时，机制找到词汇匹配，例如第一个网格中的“leatherer”与“leatherer”。但通常，匹配是语义的，例如“lotion”与“moisturizer”或“driver”与“clubs”。

在实验中，使用五个指标测量模型和十个基线的性能。其中三个指标是归一化折损累积增益（NDCG）的变体，它不仅考虑前N个中包含多少相关结果，还考虑它们的排名高度。测量前三个结果（NDCG@3）、前五个（NDCG@5）和前十个（NDCG@10）的NDCG。还使用平均精度均值（测量相关结果的比例）和平均倒数排名（根据相关结果在列表中的位置分配固定分数）。

ANTHEM的实验结果

可以看出，在所有五个指标上，在公共数据集和私有数据集上，模型（称为ANTHEM，即注意力双曲实体模型）都产生了最佳结果。在私有数据集上，相对于性能最佳的向量嵌入模型（BERT）的增益 consistently 约为30%。在公共数据集上， consistently 约为9%。

相对于使用欧几里得框嵌入的模型（E-ANTHEM），最大增益出现在NDCG@10上——私有数据集为21%，公共数据集为8%。这可能是因为ANTHEM捕获的层次信息。也就是说，欧几里得嵌入可能在找到顶级匹配方面做得很好，但ANTHEM在探索这些匹配所属的层次产品类别方面做得更好。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码