推荐系统顶会CIKM：《Enhancing CTR prediction in Recommendation Domain with Search Query Representation》

关注

原创 2024-12-31 11:34:55 1.4k 阅读 AI 写同款· GEO 优化 ›

📚 研究背景：在数字化时代，电商平台如Amazon和Kuaishou等，通过结合搜索(Search)和推荐(Recommendation)服务，满足用户的多元化需求。推荐系统基于用户偏好推荐商品，而搜索服务则允许用户主动寻找特定商品。这两个服务的用户行为数据，为提高推荐系统的点击通过率(CTR)预测准确性提供了宝贵的机会。然而，现有方法往往忽视了用户在搜索和推荐领域间的意图转变，未能充分利用搜索查询中的用户偏好信息。

🔍 相关工作：

跨域推荐系统：通过共享用户或商品信息，增强目标领域的性能。
搜索与推荐联合学习：通过联合损失和共享项目信息，提高搜索和推荐领域的模型性能。

🧠 模型图输入输出转变：

上图：模型框架图示意

输入：用户在推荐域和搜索域的历史交互数据，包括用户点击的商品列表、搜索查询序列。
输出：预测用户在推荐域中点击特定商品的概率（CTR）。

🔧 方法介绍：本研究提出的QueryRec框架，通过以下步骤实现CTR预测的增强：

查询序列编码：使用自注意力机制对搜索域中的用户查询序列进行编码。

具体来说，自注意力机制在这篇论文中的应用可以分解为以下几个步骤：
查询序列表示：
- 用户的搜索查询序列被表示为一系列的查询嵌入（query embeddings）。
- 每个查询嵌入是一个高维向量，它捕捉了查询的语义信息。
计算注意力权重：
- 自注意力机制通过计算查询序列中每个查询与其他所有查询之间的相似度或关联度，来确定每个查询的重要性。
- 这通常通过计算查询嵌入之间的点积（dot product）来实现，然后通过softmax函数进行归一化，得到每个查询的注意力权重。
加权求和：
- 使用上一步得到的注意力权重，对查询嵌入进行加权求和，得到一个综合的表示，这个表示捕捉了整个查询序列的全局信息。
- 这个综合表示将作为用户在搜索域中的偏好表示，用于后续的推荐任务。
编码查询序列：
- 通过自注意力机制，模型能够动态地调整每个查询在最终表示中的权重，从而捕捉用户随时间变化的搜索意图。
- 这种动态权重调整使得模型能够更加灵活地处理不同用户和不同上下文中的查询序列。
输出序列表示：
- 最终，自注意力机制输出一个固定大小的向量，这个向量代表了整个查询序列的压缩表示，可以被用于推荐系统中的CTR预测模型。

下一个项目预测：预测用户在推荐域中下一个可能点击的商品。
对比学习和扩散模型：通过对比学习和扩散模型增强，提取查询和商品间的关系，并解决数据稀疏问题。

扩散模型（Diffusion Model）

扩散模型用于解决数据稀疏问题，尤其是在用户搜索某些查询后没有点击任何商品的情况下。具体步骤如下：

在这篇论文中，对比学习和扩散模型被综合应用于以下方面：

对比学习（Contrastive Learning）

对比学习在这篇论文中用于探索查询（queries）和商品（items）之间的关系。具体步骤如下：
正负样本对：
- 正样本：如果用户在搜索某个查询后点击了某个商品，那么这个商品被认为是与查询正相关的。
- 负样本：与查询无关的商品，即用户没有点击的商品。
查询-商品对的表示：
- 使用神经网络将查询和商品映射到嵌入空间。
- 目标是使得正样本对（查询-商品）的嵌入向量在空间中更接近，而负样本对更远离。
损失函数：
- 通过计算正样本对和负样本对之间的距离，并使用对比损失（如InfoNCE损失）来优化模型参数。
- 这促使模型学习到能够区分正负样本的查询和商品表示。
交互向量：
- 定义一个交互向量，表示用户对商品的交互（点击或未点击）。
正向过程：
- 从初始状态开始，通过迭代过程添加高斯噪声，模拟用户可能的点击行为，生成预测的用户交互向量。
逆向过程：
- 从预测的用户交互向量开始，通过逆向过程学习如何从噪声中恢复出原始的交互向量。
- 这个过程需要优化，使得逆向过程能够准确预测用户的实际交互行为。
数据增强：
- 对于没有点击记录的查询，使用扩散模型生成可能的点击商品列表，作为正样本增强对比学习的数据。
训练和优化：
- 通过最大化证据下界（ELBO）来训练扩散模型，其中包括重建项和先验匹配项，以及去噪匹配项。
查询表示增强：通过对比学习，模型学习到能够反映用户意图的查询表示。
数据稀疏性解决：通过扩散模型，为那些没有点击记录的查询生成可能的点击商品列表，增强了模型处理稀疏数据的能力。
CTR预测提升：结合上述两种方法，提高了推荐域中CTR预测的准确性。