DC-GNN：面向大规模广告召回场景的解耦式图模型方法

丨目录：

· 摘要

· 背景

· 方法

·  实验分析

· 总结

· 参考文献

1. 摘要

在广告召回场景中，图神经网络（GNN）由于其强大的拓扑特征提取和关系推理能力成为最先进的技术之一。大规模广告召回场景通常包含了数十亿量级的商品和数百亿量级的交互关系，导致传统的基于GNN的召回方法训练效率低。在训练效率的限制下，通常只能应用浅层的图模型算法，这极大限制了图模型的表达能力，从而降低了广告召回的质量。为了提升训练效率以及图模型表达能力，我们提出了解耦式图模型方法（DC-GNN）以改进和加速基于GNN的大规模广告召回。DC-GNN主要包含三个阶段：预训练、深度聚合与双塔CTR预估。具体来说，预训练阶段设计有监督的边预测任务和自监督的图多视野对比学习任务相结合的多任务学习以重点学习图节点属性信息，同时有效增强GNN鲁棒性；深度聚合阶段利用异构线性图算子进一步高效挖掘图深层结构信息来增强图节点的向量化表达；双塔CTR建模阶段将前两个阶段生成的节点向量化表达作为输入，获取预估分数以进行广告召回。DC-GNN通过将双塔CTR预估和图操作进行解耦，使得训练复杂度独立于图结构，有效提升了训练效率。同时，深度聚合阶段允许更深层次的图操作以挖掘高阶图结构信息，从而有效提升了模型的表达能力。大规模工业数据集实验表明，本文所提的DC-GNN方法在大规模广告召回场景下模型性能和训练效率都获得了显著提升。

2. 背景

近年来，在线电商平台在人们的生活中越来越普遍，其通过搜索、广告、推荐等系统来帮助用户从数十亿商品中更好地找到他们所需要的。以淘宝广告系统为例，主流的解决方案通常可以粗略地分为两个阶段：召回阶段、排序阶段。召回阶段负责从数十亿的候选库中挑选一组相关的商品，然后排序阶段对该组相关的商品进行排序并根据机制确定最终的展示位置。在以上两个阶段中，CTR预估均起着重要的作用。不同的是，召回阶段的CTR预估旨在高效地从庞大的候选库中挑选相关商品，排序阶段的CTR预估负责精细化地排序相关商品。在本文中，我们主要关注召回阶段，该阶段的CTR模型通常被设计为双塔结构以高效地检索。

图神经网络（GNN）由于其强大的特征提取和关系推理能力成为电商广告召回最先进的技术之一。GNN的核心是迭代地从邻居节点聚合信息到目标节点，以捕捉图中高阶近邻来缓解数据稀疏问题。传统的基于GNN的大规模广告召回面临两个挑战：

1. 该场景通常包含数十亿量级的商品和数百亿量级的关系，且图操作随着层数的增加复杂度指数增加，庞大的图数据和复杂的图操作导致图模型的训练效率较低；

2. 在训练效率的限制下，只能应用浅层图操作（1～2层），使得目标节点只能获取有限的邻居信息，限制了图模型的表达能力。

为解决以上挑战，本文提出解耦式图模型方法（DC-GNN），将传统的基于GNN的双塔CTR模型解耦为三个阶段：图预训练、深度聚合与双塔CTR预估。每个阶段的主要贡献如下：

1. 图预训练阶段设计多任务学习，即有监督的边预测任务与自监督的图多视野对比学习任务，重点学习图中节点的属性信息，同时增强GNN的鲁棒性；