FLEN:一种时空高效的利用特征场信息缓解梯度耦合的CTR预测模型

FLEN: Leveraging Field for Scalable CTR Prediction

美图个性化推荐排序的核心算法

提出了field-wise bi-interaction pooling技术，解决了在大规模应用特征field信息时存在的时间复杂度和空间复杂度高的困境，同时提出了一种缓解梯度耦合问题的方法，dicefactor。该模型已应用于美图的大规模推荐系统中，持续稳定地取得业务效果的全面提升。

建模特征交互对于模型的效果起着至关重要的作用。然而，大部分基于因子分解的模型都存在着一个梯度耦合的问题。

本文提出了一个Field-Leveraged Embedding Network (FLEN) 模型，该模型能够以一种时空高效的方法缓解广泛存在的梯度耦合问题，从而得以在生产环境中部署服务。

技术

FLEN使用了一个filed-wise bi-interaction pooling技术。通过利用特征所属的场的信息，filed-wise bi-interaction pooling能够以更少的模型参数量和更短的计算时间消耗来同时捕获inter-filed和intra-filed之间的特征交互。

同时提出一种dropout策略Dicefactor。Dicefactor随机丢弃一定的bi-linear交互的结果(元素级别)来帮助缓解梯度耦合问题。

FLEN也是首次公开提出的能够将不同的浅层模型如FM,MF,FwFM通过一个统一的框架表达的模型。

Field-Wise Bi-Interaction Component

这部分主要分为三个小块，分别为

• 所有特征线性组合以及全局偏置项

• 特征大类之间的交叉组合MF

• 特征大类内部的交叉组合FM

实验对比

实验环节验证FLEN在离线数据集和线上AB中的有效性，以及FLEN相比于其他利用场信息的模型在参数量级和训练时间上的优势，文章还对比了一些超参数对模型效果的影响。