[WWW23]图对比推荐论文Graph-less Collaborative Filtering简介

原创

已于 2023-04-18 12:33:01 修改 · 733 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络 #推荐算法 #python

于 2023-04-17 19:55:19 首次发布

SimRec模型通过结合知识蒸馏和对比学习，解决基于GNN的协同过滤方法中的过平滑问题和扩展性挑战。它使用LightGCN作为教师模型，MLP作为学生模型，通过预测和嵌入级别的知识转移，实现高效且鲁棒的推荐。自适应对比正则化进一步防止了过平滑，确保学生模型的性能和区分度。

Graph-less Collaborative Filtering

论文链接：https://arxiv.org/abs/2303.08537

背景/动机

对于基于用户-物品交互图协同过滤（CF）任务，图神经网络（GNN）展现出了强大的图结构建模能力。然而，由于其在邻居节点之间的迭代信息传递机制和过平滑以及低通拉普拉斯平滑算子的噪声效应，现有的基于GNN的CF方法可能会生成无法区分且不准确的用户（物品）嵌入表示。另一方面，在实际应用中，在完整图结构上的的迭代信息传播可以会导致较差的可扩展性。

一般地，基于GNN的CF模型的核心操作是利用邻域聚合范式和迭代信息传递来编码用户和物品的嵌入表示。这些方法虽然取得了显著的性能提升，但仍然存在一些问题：

（1）GNN的设计会导致过平滑问题。随着嵌入传播层堆叠地更多，基于邻域信息聚合的推荐模型将会不可避免地生成无法区分的用户和物品表示，这使得基于GNN的推荐方法很难捕获用户偏好的多样性。这一现象使得广泛存在于推荐系统的误点击（misclick）和流行度偏差（popularity bias）等问题会被进一步放大。

（2）迭代扩展的扩展性限制。尽管基于GNN的推荐模型可以通过堆叠多个GCN层来捕获高阶连通性，但迭代地邻域信息聚合会导致高额的计算负担。因此，具有更深GCN层的CF模型表现出较差的可扩展性，尤其是对于大规模推荐场景。

应对上述挑战虽然非常关键，但仍然存在一些问题：

（1）如何高效地建模用户-物品交互；

（2）如何对过平滑和噪声问题具有鲁棒性的嵌入表示进行编码，同时保持高阶交互关系。

前置知识

一般地，基于协同过滤（collaborative filtering，CF）的推荐任务的输入是用户的交互矩阵A（在多数论文中交互矩阵通常也以符号R表示，而A表示邻接矩阵，此处使用A表示交互矩阵以为原论文保持统一），而输出是一个预测函数，以预测每个用户 $u$ 对新物品 $v$ 的交互概率分数。基于此，CF模型可以以两个阶段进行抽象：