本文介绍了《CL4CTR: A Contrastive Learning Framework for CTR Prediction》论文，该框架针对CTR预估模型的特征表示优化，通过引入对比学习损失，包括Contrastive Loss、Feature Alignment 和 Field Uniformity Loss，有效提升模型性能，尤其是对低频特征的表示。实验表明，CL4CTR能提高模型的AUC并兼容各种基础模型。
今天分享的论文为《CL4CTR: A Contrastive Learning Framework for CTR Prediction》，从特征表示角度入手，将多种对比学习损失引入到CTR预估的模型训练中，一起来看一下。
1、背景
主流的CTR预估模型大致可以分为两类，一类是传统的模型，如逻辑回归，FM，FFM等，这些模型仅可以建模低阶的特征交互，另一类是基于深度学习的模型，如DeepFM、wide&Deep等，这些模型可以建模高阶的特征交互来提升模型的预估效果。对于深度学习类的CTR预估模型，大都基于三层的设计范式：Embedding层、特征交互（FI）层和预估层。在这种设计范式下，绝大多数的工作针对特征交互层展开，如xDeepFM、DCN等，对于Embedding层的研究却很少。但在实际训练过程中，大多数CTR模型面临的一个问题是：出现频率高的特征对应的Embedding会被充分学习，出现次数低的特征对应的Embedding无法被充分学习，进一步导致模型的表现是次优的。如在Frappe和ML-tag数据集中，可以看到明显的“长尾”现象，如下图所示：
当然也有一些工作从特征表示的角度入手进行优化，在模型中引入了特征重要度模块来增强其表示（如FEN，Duel-FEN），但额外模块的引入会带来额外的学习参数以及线上推理耗时，同时，这些模型仅通过监督信号来优化特征表示，论文认为这也是远远不够的。
因此，从特征表示优化的角度出发，针对现有模型的一些问题，将多种对比学习的损失引入到模型当中，接
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
