MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

1 论文地址和代码

论文地址：https://keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Huang-et-al-MixGCF.pdf
代码地址：https://github.com/huangtinglin/MixGCF

2 推荐系统的介绍

近年来，图神经网络（GNN）被用于改进协同过滤推荐系统。通过将用户和项目的交互建模为图，GNN能够将图结构信息融合进嵌入中，以提高推荐性能。典型的基于GNN的推荐模型有PinSage、NGCF和LightGCN，它们已在Web规模的应用中取得了显著的成功。
负采样问题。

• 在GNN-based推荐系统中，负采样是一项关键任务。负采样是指从未与用户交互的项目中挑选样本作为负样本，用于训练模型。然而，传统的负采样方法通常使用均匀分布来采样负样本，这可能导致模型的学习过程过于简单，不能有效地提升模型性能。
• 为了提高负样本的质量，研究者们尝试了基于PageRank分数的采样、重新设计正负样本的分布等方法，然而这些方法主要集中在图的离散空间，忽视了GNN在嵌入空间中的邻域聚合过程。

3 贡献

本文提出了一种新的负采样策略，称为MixGCF。与传统方法不同，MixGCF通过生成硬负样本来提高模型的训练难度，而不是直接从数据中采样真实的负样本。它从数据增强和度量学习中汲取灵感，利用基于GNN的推荐模型合成负样本。
MixGCF设计了两种混合策略：正混合和跳跃混合。在正混合中，负样本的嵌入通过与正样本的信息混合来“污染”；在跳跃混合中，通过对多个负样本进行采样，并通过邻居的跳跃聚合生成合成负样本。
本文的贡献如下：

• 提出合成负样本而不是直接从数据中采样负样本以改进基于GNN的推荐系统的想法。
• 提出一个通用的 MixGCF 框架，其中包含 hop 混合和正混合策略，可以直接用于基于 GNN 的推荐模型。
• MixGCF 性能优越，提出的负采样技术性能优越

4 预备知识

4.1 用于推荐的图神经网络

推荐系统的输入包括一组用户 U = { u } \mathcal{U}=\{u\} U={u}，项目 V = { v } \mathcal{V}=\{v\} V={v}，和用户的隐式反馈$O^{+}=\{(u,v^{+})|u\in \mathcal{U},v^{+}\in \mathcal{V}\}$，其中每对表示用户$u$和项目$v^{+}$之间 的交互。目标是估计用户对项目的偏好。

GNN-based CF models 完成了这一目标，主要思想是根据用户的多跳邻居来测量用户$u$对项目$v$的偏好。其内积用于量化偏好，即$\hat{y}(u,v)={\mathrm{e}}_u^{\ast \top }{\mathrm{e}}_v^{\ast }.$，接下来，我们简单介绍一下基于GNN的CF的过程，包括聚合、池化及其负采样优化。

聚合（Aggregation）。每个用户和项目的初始嵌入向量分别为${\mathbf{e}}_u$和${\mathbf{e}}_v$，以Light-GCN为 例，其聚合过程为：
$${\mathbf{e}}_u^{(l+1)}=\sum _{i\in N_u}\frac{1}{\sqrt{|N_u||N_i|}}{\mathbf{e}}_i^{(l)},{\mathbf{e}}_v^{(l+1)}=\sum _{j\in N_v}\frac{1}{\sqrt{|N_v||N_j|}}{\mathbf{e}}_j^{(l)}.(1)$$

• ${\mathbf{e}}_u^{(l)},{\mathbf{e}}_v^{(l)}$是用户$u$和项目$v$在第$l$层的GNN嵌入
• ${\mathcal{N}}_u$表示与用户$u$交互的项目集
• ${\mathcal{N}}_v$表示与项目$v$交互的用户集

为简单起见，我们在以下部分中使用${\mathrm{e}}^{(l)}$作为第 $l$层嵌入。

池化（Pooling）。基于GNN 的CF模型通常采用池化操作来生成用户和项目的最终表示，这可以帮助避免过度平滑并确定节点子图信息在不同范围内的重要性。
在最后一层$l$，使用池化函数生成最终的用户和项目表示${\mathbf{e}}_u^{\ast }$和${\mathbf{e}}_v^{\ast }$，。

例如，LightGCN 使用基于总和的池化：
$${\mathbf{e}}_u^{\ast }=\sum _{l=0}^L{\lambda }_l{\mathbf{e}}_u^{(l)},{\mathbf{e}}_v^{\ast }=\sum _{l=0}^L{\lambda }_l{\mathbf{e}}_v^{(l)},(2)$$
例如，NGCF使用concat 的池化
$${\mathbf{e}}_u^{\ast }={\mathbf{e}}_u^{(0)}||\cdots ||{\mathbf{e}}_u^{(L)},{\mathbf{e}}_v^{\ast }={\mathbf{e}}_v^{(0)}||\cdots ||{\mathbf{e}}_v^{(L)},(3)$$

负采样优化（Optimization with Negative Sampling）。学习排序的任务是为用户提供项目的排名列表（假设用户喜欢的项目比其他项目排名更高）。

然而，通常情况下，用户的偏好无法完全从明确的反馈中得到。我们只能得到一些隐式反馈，比如用户点击、浏览、购买等行为（正向观察数据），这些行为只能告诉我们哪些物品是用户感兴趣的（即正样本）。但是，哪些物品用户不感兴趣（即负样本）则是无法直接知道的。
一种直接的解决方法是假设用户会更喜欢已观察到的物品（正样本），而不喜欢那些未观察到的物品（负样本），但是物品的数量非常大，直接考虑所有未观察的物品非常不现实，通常采用“负采样”技术，即随机选择一部分未观察到的物品作为负样本，用来训练模型。

BPR损失（Bayesian Personalized Ranking），BPR损失函数是其中一种常见的优化目标，公式如下：
$$\max \prod _{v^{+},v^{-}\sim f_{\mathrm{S}}(u)}{P}_u(v^{+}>v^{-}|\Theta )(4)$$

• $v^{+}$和$v^{-}$分别表示正项目和负项目
• $P_u(a>b)$表示用户$u$相较于$b$项目更喜欢$a$项目
• $f_{\mathrm{S}}(u)$是负采样的分布，通常是一个均匀分布，即从所有未观察过的物品中随机选择
• $\Theta$是模型参数，表示我们需要通过训练来优化的参数。

这个式子的目标是最大化所有可能的正负样本对的乘积。$P_u(v^{+}>v^{-}|\Theta )$表示用户$u$更喜欢$v^{+}$而不是$v^{-}$的概率，我们需要优化$\Theta$模型参数，来使得$P_u(v^{+}>v^{-}|\Theta )$尽可能大，进而使乘积尽可能大。

5 MIXGCF

5.1 简介

MixGCF 是一种适用于基于 GNN 的推荐系统的负采样通用算法。它可以直接集成到现有的基于 GNN 的推荐算法中，例如 LightGCN 和 NGCF。MixGCF 提出了一种基于图结构合成信息丰富（且虚假的）负项目的方法，用于训练基于 GNN 的协同过滤推荐模型。

5.2 模型框架

如上图，MixGCF的框架，${\mathrm{e}}^{(l)}$表示节点$e$在第$l$层的嵌入，${\mathbf{e}}^{\prime (l)}$ 表示通过positive mixing生成的第$l$层的嵌入。

5.3 Positive Mixing

在MixGCF的框架中，通过其嵌入${\mathrm{e}}_{v^{-}}$伪造负样本$v_i^{-}$，其步骤如下：

第一步：选择$\text{M}$个负样本项，形成候选集$\mathcal{M}$,其中$\text{M}$会远小于数据集中项目的数量。这些$\text{M}$个负样本项可以形成一个大小为$M\times (L+1)$的候选负嵌入集 E = { e v m ( l ) } \mathcal{E}=\{\mathbf{e}_{v_{m}}^{(l)}\} E={evm​(l)​}
第二步：将正样本信息${\mathbf{e}}_{v^{+}}$注入到负样本嵌入$\mathcal{E}$中。对于每个候选负嵌入${\mathrm{e}}_{v_m}^{(l)}\in \mathcal{E}$，positive mixing operation的公式如下：
$${{\mathbf{e}}^{\prime }}_{v_m}^{(l)}={\alpha }^{(l)}{\mathbf{e}}_{v^{+}}^{(l)}+(1-{\alpha }^{(l)}){\mathbf{e}}_{v_m}^{(l)},{\alpha }^{(l)}\in (0,1),(5)$$

• ${\alpha }^{(l)}$是每一跳$l$的混合系数
• 注意：如果混合系数是从贝塔分布$\mathrm{Beta}(\beta ,\beta )$中采样的，这对模型的泛化能力有很大影响
• 我们使用从(0,1)分布采样的混合系数

设${\epsilon }^{\prime }$是负样本候选集$\text{M}$的增强嵌入集，正混合的两个作用是：

• 向负样本中注入正信息来增强样本，这有助于使优化算法更好地学习决策边界
• 通过随机混合系数引入随机不确定性，增强了模型的泛化能力

5.4 Hop Mixing

利用正混合增强的候选负项的嵌入 E ′ = { e ′ v m ( l ) } \mathcal{E}^{\prime} = \{\mathrm{e'}_{v_{m}}^{(l)}\} E′={e′vm​(l)​}，提出了跳混合技术来生成合成的负项$v^{-}$和嵌入${\mathbf{e}}_{v^{-}}$，跳混合的主要思想是利用gnn中的分层聚合过程。

对于每一层$l\left(0\le l\le L\right)$,我们从${\epsilon }^{\prime (l)}$中采样一个候选负嵌入${\text{e}}_{v_x}^{\prime (l)}(1\le x\le M)$,其中${\epsilon }^{\prime (l)}$包含了候选负样本项所有层的负嵌入。
以$\text{L=2}$为例，从${\epsilon }^{\prime (l)}$采样${{\mathrm{e}}^{\prime }}_{v_a}^{(0)},{{\mathrm{e}}^{\prime }}_{v_b}^{(1)},{{\mathrm{e}}^{\prime }}_{v_c}^{(2)}$，$a,b,c$可以相同。

跳跃混合的想法是将所有$L+1$嵌入组合起来，生成（伪）负样本$v^{-}$的嵌入${\mathbf{e}}_{v^{-}}$，公式如下：
$${\mathbf{e}}_{v^{-}}=f_{\mathrm{pool}}({{\mathbf{e}}^{\prime }}_{v_x}^{(0)},\cdots ,{{\mathbf{e}}^{\prime }}_{v_y}^{(L)}),(6)$$

• 这里的池化操作是与当前基于GNN的推荐器中相同的池化操作。

公式6引出的问题

跳跃混合的核心问题是如何在每一层$l$有效地从${\epsilon }^{\prime }(l)$采样嵌入${{\mathrm{e}}^{\prime }}_{v_x}^{(l)}\stackrel{\cdot }{(1\le x\le M)}$。期望损失$J({\theta }^{\ast })$和经验损失$J({\theta }_T)$之间的最优参数的${\mathrm{e}}_u^T{\mathrm{e}}_v$的预期风险满足：
$$\mathbb{E}\left[||({\theta }_T-{\theta }^{\ast }{)}_u|{|}^2\right]=\frac{1}{T}(\frac{1}{p_d(v|u)}-1+\frac{1}{K{p}_n(v|u)}-\frac{1}{K}),(7)$$

• $p_d(v|u),p_n(v|u)$分别表示估计的目标用户对项目的正分布和负分布。
• ${\theta }_T$是训练后的模型参数。
• ${\theta }^{\ast }$是最优的理论参数。
• $({\theta }_T-{\theta }^{\ast }{)}_u$是模型参数在用户$u$上的误差。
• $\mathbb{E}\left[||({\theta }_T-{\theta }^{\ast }{)}_u|{|}^2\right]$是误差的二范数（欧几里得距离）的平方的期望值，也就是说，它衡量了模型参数在用户$u$上的偏差。

当$T$和$K$选定时，预期风险就只依赖于$p_d(v|u)$和$p_n(v|u)$，但如果$p_d(v|u)$和$p_n(v|u)$成正比（例如，$p_n(v|u)=\alpha p_d(v|u)$），那么可以让预期风险只取决于$p_d(v|u)$。而有着高内积分数的user-item之间的交互概率可以被准确估计

基于上述理论，负采样的建议方法是：

1. 根据估计的正分布选择负样本
2. 用内积分数来近似正分布并选择分数最高的候选样本，即负抽样也尽量选择负候选集中内积最大的user-item
3. 这也称为hard negative select strategy

我的理解是：

• 理想的负样本应该是那些“难以区分”的负样本，即与正样本非常相似的负样本。这样，模型就能更好地学习如何区分正负样本。
• 用户与物品的内积得分越高，表示用户对物品的兴趣越强。因此，高内积得分的负样本通常是那些与正样本（真实的交互样本）非常相似的负样本

hard negative select strategy在第$l$层的实现为：
$${{\mathbf{e}}^{\prime }}_{v_x}^{(l)}=\arg \underset{{{\mathbf{e}}^{\prime }}_{v_m}^{(l)}\in {\mathcal{E}}^{(l)}}{\max }{f}_{\mathbb{Q}}(u,l)\cdot {{\mathbf{e}}^{\prime }}_{v_m}^{(l)},(8)$$

• 上述公式我认为应该是$e_{v_m}^{\prime (l)}\in {\epsilon }^{\prime (l)}$
• $\cdot$是内积运算
• $f_{\mathrm{Q}}(u,l)$ 是查询映射，返回的是第$l$跳目标用户$u$相关的嵌入

该函数依赖于用于推荐的GNN的池化模块，主流的池化模块有基于和的池化操作和基于连接的池化操作（公式2和公式3）。因此，目标用户${\mathbf{e}}_u$和合成负嵌入${\mathrm{e}}_{v^{-}}$有两种选择：

• Sum-based pooling：${\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}={\sum }_{l=0}^L{\lambda }_l{\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}^{(l)}$
• Concat-based pooling：${\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}={\sum }_{l=0}^L{\mathbf{e}}_u^{(l)}\cdot {\mathbf{e}}_{v^{-}}^{(l)}$

为了使得公式8中的选择过程和GNN推荐系统中使用的池化保持一致，我们让$f_Q(u,l)={\mathbf{e}}_u$用于sum-based pooling，让$f_Q(u,l)={\mathbf{e}}_u^{(l)}$ 用于concat-based pooling。

• sum-based pooling最终的用户嵌入是通过将各层节点嵌入的加权求和得到的，${\mathbf{e}}_u=\sum _{l=0}^L{\lambda }_l{\mathbf{e}}_u^{(l)}$，让${\mathbf{e}}_u$参与运算即可
• concat-based pooling则是每一层的用户嵌入是拼接起来的${\mathbf{e}}_u={\mathbf{e}}_u^{(0)}||\cdots ||{\mathbf{e}}_u^{(L)}$，为了确保查询映射函数与这种拼接的方式一致，则需要每一层的嵌入都参与运算。

5.5 Optimization with MixGCF

然后使用公式4中的BPR Loss作为损失函数（只不过加了对数$ln$，将乘法改为加法的形式），公式如下：
$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{BPR}}& =\sum _{(u,v^{+})\in O^{+}}\ln \sigma ({\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}-{\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{+}}),(9)\\ & {\mathbf{e}}_{v^{-}}\sim f_{\mathrm{MixGCF}}(u,v^{+})\end{array}$$

• $\sigma (\cdot )$是sigmod函数
• $O^{+}$是正反馈集合
• ${\mathbf{e}}_{v^{-}}\sim f_{\mathrm{MixGCF}}(u,v^{+})$表示${\mathrm{e}}_{v^{-}}$由所提出的MixGCF方法合成。
• ${\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}-{\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{+}}$结果为负数，说明模型已经学到用户对正物品的偏好较高，则$ln\sigma (\cdot )$的值更小，从而损失函数更小

5.6 算法流程