【曝光偏差】UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized

UKD: 去偏CVR估计

原创

已于 2023-10-31 15:37:21 修改 · 661 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习

于 2022-11-03 15:18:37 首次发布

提出UKD框架，通过不确定性正则化知识蒸馏缓解样本选择偏差问题，提升广告点击后转化率(CVR)估计模型的准确性。

#论文题目：【曝光度偏差】UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation（UKD：通过不确定性正则化知识蒸馏的去偏转化率（CVR）估计）
#论文地址：https://arxiv.org/pdf/2201.08024.pdf
#论文源码开源地址：暂无
#论文所属会议：WWW 2022
#论文所属单位：阿里
在这里插入图片描述

一、导读

本文是针对广告方面存在的样本选择偏差问题提出的相关改进方法，同样常见的推荐系统中也存在SSB问题，因此具有借鉴意义。
传统的点击后转化率 (CVR) 估计模型是使用点击样本进行训练的。但是，模型上线后，需要对所有展示广告进行估计，从而导致样本选择偏差 (SSB) 问题。因此，需要给未点击的广告提供可靠的监督信号，从而缓解SSB问题。
本文提出了一种不确定性正则化知识蒸馏 (UKD) 框架：

通过从未点击的广告中提取知识来消除 CVR 估计的偏差。教师模型学习点击自适应表征，并在未点击的广告上生成伪转换标签作为监督信号。
然后通过知识蒸馏对已点击和未点击的广告训练学生模型，进行不确定性建模以减轻伪标签中的固有噪声。

二、方法

在这里插入图片描述
如图所示为模型的整体流程，点击自适应的教师模型来产生为标签和不确定性正则化的学生模型来蒸馏知识。

2.1 点击自适应教师模型

教师模型的目标是在只能访问到点击数据D_click的转化标签的情况下，生成未点击数据D_unclick的伪标签。点击样本和未点击样本的特征分布存在差异。为了拥有对未点击广告的准确推断能力，教师模型需要学习点击自适应表征。从无监督域自适应的角度来处理伪转换标签生成，其中源/目标域是点击/未点击空间。通过这种方式，问题被表述为为未标记的未点击广告（D_unclick作为目标域）生成可靠的伪转换标签，给定标记的点击广告（D_click作为源域）。