2024’阿里推出LLM-KERec：融合LLM和知识图谱提升电商推荐效率

一、Introduction

推荐系统（RS）的主要目标是通过分析用户的历史行为来推断用户偏好，并推荐最符合其兴趣的物品。为此，我们将推荐任务总结为以下子任务的组合：
1）基于用户的点击行为推荐感兴趣物品；
2）基于用户的购买行为推荐可能购买的物品；
3）进行业务干预以探索用户其他潜在的兴趣。

传统CTR预测模型已被广泛应用于解决这些子任务。尽管在RS中取得了显著的性能提升，但它们仍面临两大挑战：
1）高度依赖用户的浏览记录和用户反馈，限制了RS在冷启动场景中的性能；
2）用户交互数据的稀疏性导致推荐感兴趣比推荐新物品更有效。

因此，结合有效的知识和大语言模型（LLM）以提高推荐系统的性能成为了趋势。我们提出了一种新的LLM-KERec推荐系统，该系统结合了传统模型高效的协作信号处理能力和大语言模型，帮助用户迅速找到他们喜欢的物品。该方法不仅减少了传统模型推荐结果中的重复性，还提高了整体点击率和转化效果。

二、System Overview

1、Traditional Recommendation Module

在传统的推荐架构中，用户打开应用时，推荐系统根据用户请求信息触发召回模块（热门召回、LBS召回、个性化召回等），筛选出大量可能感兴趣的候选物品。随后，粗排模型生成一个较小的候选物品集合，进一步缩小选择范围。最终，精排和重排模型决定展示顺序。每一步可能需要人工干预，例如分配物品权重以优化推荐效果。

2、LLM-based Complementary Knowledge Enhancement

在本文中，LLM-KERec 系统保持了高效处理大量协作信号的能力，并通过基于LLM的互补知识增强模块克服了挑战。为了在支付宝中建立不同物品之间的联系，LLM-KERec 通过为用户的购买行为和所有物品创建一个统一的实体系统，将这些物品联系起来。利用世界知识和常识知识，我们使用一个大语言模型来确定实体间的互补关系，构建互补图，并训练实体-实体-物品（E-E-I）权重决策模型。通过这种方法，我们可以为用户最喜欢的物品和互补物品提供个性化推荐，该解决方案已在支付宝营销场景中成功实施。

三、Diving into the LLM-KERec

LLM-KERec 系统中的模块功能如图所示：

1、Entity Extractor

Entity Dict

在实际应用中，例如支付宝，用户的操作覆盖多种场景。为了协调不同来源的信息，建立统一关联模式至关重要，这通过我们的实体词典实现，它包含数万个实体，并且每周都会更新。每个实体代表一个特定概念，如“电话”或“可乐”。

Extracting Entities

基于实体字典的方法，我们重点从支付宝用户行为中抽取实体（包括账单、访问日志及营销场景中的物品），这相当于命名实体识别（NER）任务。通过BERT-CRF模型，我们能准确抽取实体。在基于大语言模型的补充知识增强中，我们从用户最近的账单和物品信息中抽取实体，建立购买行为与推荐物品的联系，流程如图所示。

2、Complementary Graph Construction

我们利用实体提取器的结果构建一个互补图，这有助于我们了解用户的购买模式。具体而言，我们希望通过自然语言理解和常识推理来理解用户在购买物品 A（比如餐具）之后通常会购买哪些物品 B（比如纸巾）。

互补图的构建涉及两个主要步骤：

1. 生成候选实体对，以提高效率并覆盖所有物品。
2. 结合提示工程和大语言模型进行推理以提取有价值的见解。

Entity Pair Construction

首先，某些物品与特定概念之间存在互补关系，而这些概念通常涵盖了更多具体的物品。在工业电子商务场景中，尽管物品数量庞大，但概念类别相对有限。通过将概念作为实体，可以显著节省计算资源。在前面，我们已经使用实体提取器为所有物品分配了唯一的实体标识。

构建实体对的一种简单方法是：从包含 个实体的集合中选取元素，并将它们成对组合，从而产生 个候选实体对。然而，这种方法由于下游大语言模型的推理速度较慢而不经济。此外，实际场景中存在长尾分布，少数实体经常被购买，而大多数实体很少被消费。

为了解决这一挑战，我们设计了一种成本效益高的分段组合策略：

1. 根据总转化率和点击率等指标将实体按降序排序，分为极度受欢迎、受欢迎和不受欢迎的实体。

2. 专注于在受欢迎的实体之间构建实体对。

3. 构建包括极度受欢迎和不受欢迎实体之间的实体对，确保对不受欢迎物品的互补图进行全面覆盖。

通过合并和消除所有实体对中的重复物品，我们获得最终输出。这种分段组合策略确保了对下游模块的可靠支持，同时最大限度地减少了资源浪费。

Large Language Model

我们利用Claude 2进行实体间互补关系的推理，具体方法是设计提示，涵盖输入格式、任务描述、示例及其理由和输出格式。最终答案表示为 Y 或 N，其中 Y 表示存在互补关系，N 表示不存在互补关系。此外，我们还探索了ChatGPT 3.5和ChatGLM 2。

Automatic Update Strategy

在真实的电子商务环境中，用户和商家彼此依赖并相互促进，实体的流行度是动态的。例如，商家通过营销策略吸引公众关注，而较老的产品会逐渐被取代。为此，我们实现了一个自动的每日调度来构建增量互补图，通过及时更新确保系统的有效和持续运行，这对于长期保持最佳性能至关重要。

3、E-E-I weight decision model

目前，我们已成功将每个用户的最近账单和物品链接到互补图中的实体。目标是基于用户的账单推荐互补物品，其中存在实体1-实体2的关系。然而，由于LLM在准确评估用户偏好的能力有限，我们需要一个E-E-I权重决策模型来完成此任务。

Model Overview

该模型的成功很大程度上依赖于高质量 E-E-I 重量决策模型的构建。我们提出了一种两阶段互补知识增强程序，包括排序阶段和集成阶段，如图所示。

Ranking Stage

如图所示，我们的模型采用双塔架构，其中双塔的输出分别代表互补物品和账单实体的表示。这些输出的点乘作为偏好水平指示器。对于物品的表示方法，可以从数据库中提取丰富的特征集。然而，对于实体的表示方法，我们面临一个挑战，因为我们除了一个预分配的ID外，缺乏具体描述它们的信息。为解决这一限制，我们采用图神经网络和对比学习从两个不同的视角来表示实体：一级可替代视图和二级互补视图。

排名阶段可以进一步细分为以下模块：

「图构建」

图神经网络（GNNs）在推荐系统中表现出色，因为它们可以有效地利用高阶关系。这些方法将交互数据表示为图，并通过迭代传播邻域信息来学习有效的节点表示。同样，如图所示，我们设计了以下边关系来更好地表示实体：

1. 在用户节点和物品节点之间建立点击行为边。
2. 在物品节点和实体节点之间建立依赖关系边。
3. 在实体节点之间建立互补关系边。

给定用户集 ，物品集 和实体集 。节点数量为 。我们的方法将可用数据表示为用户-物品-实体图 ，其中 且 是邻接矩阵。

「一级可替代视图」

为了建模可替代关系，我们为每个实体考虑两种不同的信息来源：

1. 从物品子视角出发，我们需要探索与当前实体有依赖关系的物品的共同特征。
2. 从用户子视角出发，我们需要探索经常点击当前实体的用户的共同特征。

具体地，我们使用图注意力网络（GAT）进行信息聚合，表示为：

然后，我们可以基于注意力机制融合来自不同子视角（包括用户和物品侧）的信息，以获得实体节点 的嵌入：

「二级互补视图」

在建模互补关系时，我们同样为每个实体考虑两种不同的信息来源：

1. 从互补图出发，我们设计了一个元路径 ：物品（数据库）-> 实体（图）-> 实体（账单）。

2. 从用户的日常行为出发，我们同样设计了一个元路径 ：物品1（账单）-> 用户 -> 物品2（账单）-> 实体（账单）。

同样，我们通过公式获得实体节点 的表示：

「对比学习」

和 分别通过来自 一级可替代视图 和 二级互补视图 的信息进行聚合，分别从两个独立且互补的视角表示实体 。 和 互相关联且互补，可以在训练过程中相互监督。因此，我们利用对比损失 InfoNCE 来最大化正样本对的一致性并最小化负样本对的一致性：

最后，节点 的表示是 和 的加权和，将用于下游推荐任务。

「训练过程」

我们利用多任务训练策略来优化主要的 E-E-I 权重决策任务和辅助任务，包括对比学习任务和 L2 归一化任务：

Integration Stage

我们优化了召回模块和精排模型（如图所示），添加了一条新的召回路径，并引入了E-E-I权重决策模型来防止召回过多和提供评分、实体嵌入和物品嵌入。新的召回模块让精排模型关注互补商品，克服了曝光偏差问题。精排模型结合当前互补商品和用户行为特征，对候选商品进行全面且个性化的排序。

四、Experiments

1、Datasets

本文主要集中在数字营销场景下的推荐，利用了支付宝的真实世界工业数据集，包括超级567（数据集A）、消费频道（数据集B）和支付结果页面（数据集C）。

2、Offline Performance Comparison

如下表所示，LLM-KERec在三个数据集的AUC值方面优于其他方法，点击和转化AUC值分别表示三个数据集的点击和转化AUC值。

3、Online Performance Comparison

为了评估LLM-KERec在支付宝三个推荐场景的有效性，在超级567、消费频道和支付结果页面进行了在线A/B测试。数据集A和C分别使用Click和Conv，数据集B使用Click和GMV。目标为提高优惠券转化率和商品GMV。实际在线流量的10%进行测试，随机分配到两组。

结果表明，在数据集A中增加了6.24%的Conv，在数据集C中增加了10.07%的Conv，在数据集B中增加了6.45%的GMV。A/B测试的结果表明了LLM-KERec在真实工业推荐场景中的显著改进。

五、最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】