可解释集成模型提升产品检索效果

可解释集成模型改进产品检索

机器学习领域正在快速发展，新模型层出不穷。然而，为特定用例评估新模型是一个耗时且资源密集的过程。这对某中心的商店等在线服务构成了难题，这些服务既要为客户提供最新技术，又要保持24小时高负载运行。

在今年的网络会议上，我们提出了解决这一难题的方案。我们不使用单一模型（或一对模型，即语言模型和图神经网络）来处理客户查询，而是提出使用模型集成，其输出通过梯度提升决策树（GBDT）进行聚合。

通过使用Shapley值确定每个模型对GBDT最终决策的贡献程度，我们可以按效用对模型进行排序。然后，根据可用的计算资源，我们只保留在并行运行时最实用的最有用的模型。

方法实现

尚未针对特定用例进行彻底评估的新模型可以在可用数据上进行训练，并添加到集成中，与现有模型一起参与评估。Shapley值分析可能会将其从集成中移除，或者可能确定新模型使现有模型过时。无论哪种方式，客户都能从当前最佳技术中受益。

我们使用购物查询数据集测试了我们的方法，这是一个公共数据集，我们在2022年知识发现与数据挖掘会议的挑战赛中发布。该数据集包含三种语言的数百万个查询-产品对，其中查询与产品之间的关系已根据ESCI方案（精确匹配、替代品、互补品或不相关）进行标记。

我们在数据集上训练了三个大型语言模型（LLM）和三个图神经网络（GNN），然后使用三个不同的指标（准确率、宏观F1和加权F1）将它们与所有六个模型组成的集成进行比较，该集成使用了我们基于GBDT的方法。在所有指标上，集成模型的表现都优于单个模型，且通常优势显著。

ESCI分类框架

历史上，信息检索模型根据返回结果的相关性进行评估；某中心开发了ESCI方案作为更细粒度的替代方案。给定一个查询，产品可以被分类为：精确匹配（查询中指定的品牌和/或型号）；替代品（同一产品类别但来自不同制造商的产品）；互补品（互补产品，例如查询手机时的手机壳）；或不相关（一个重要分类，因为它适用于给定查询中的大多数产品）。

进行ESCI分类有两种主要方式：一种是微调语言模型，其输出仅基于产品描述和查询的文本；另一种是使用GNN，它可以考虑产品和查询之间观察到的关系。

例如，在某中心的商店中，我们构建了捕捉以下信息的图：不同类别中哪些产品倾向于一起购买，哪些产品在单个搜索会话中倾向于一起查看，哪些产品最常与特定查询词相关联购买等等。

GNN通过迭代过程将图信息映射到表示空间：首先嵌入与每个节点相关联的数据；然后创建结合节点、其邻居以及它们之间关系嵌入的新嵌入；依此类推，通常跨越一到四跳的距离。因此，在ESCI任务上微调的GNN考虑了查询和产品描述的语义内容之外的信息。

模型集成策略

在某中心，我们发现结合微调后的LLM和GNN的输出通常在ESCI任务上产生最佳性能。在我们的网络会议论文中，我们描述了一种扩展集成中模型数量的通用方法。

各个模型的输出由GBDT聚合。决策树是一种进行一系列二元决策的模型——通常是特定数据特征的值是否超过某个阈值。树的叶子与特定的数据分类相关联。

为了计算集成中每个模型对最终输出的贡献，我们使用了基于博弈论Shapley值的Shapley加性解释方法。通过Shapley值，我们系统地改变GBDT模型的输入，并跟踪每个变化如何通过决策树传播；Shapley值形式主义提供了一种使用该数据估计所有可能输入的聚合效应的方法。

这反过来使我们能够计算集成中每个模型对GBDT模型输出的贡献程度。在此基础上，我们可以只选择最有用的模型包含在我们的集成中——达到我们认为计算上可行的任何阈值。

当然，运行模型集成比运行单个模型（或一对模型，一个语言模型和一个GNN）在计算上更昂贵。但在我们的论文中，我们描述了几种提高集成模型效率的技术，例如缓存先前见过的查询-产品对的标签以供后续重用，以及预计算频繁检索产品周围邻域的GNN嵌入。我们的实验表明，集成模型应该可以实际用于实时部署。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）