【电商推荐】全文空间反事实学习：调整、分析属性和工业应用-优快云博客

本文链接：https://blog.youkuaiyun.com/fyf2007/article/details/144651645

【电商推荐】全文空间反事实学习：调整、分析属性和工业应用

摘要

本文针对构建有效推荐系统中的一个基本研究问题——点击后转化率（CVR）估计，长期受到数据稀疏性和样本选择偏差问题的困扰。为了缓解数据稀疏性问题，基于整个空间的多任务模型通过利用用户行为序列（曝光→点击→转化）构建辅助学习任务。然而，这些方法仍然存在两个主要缺陷：（1）内在估计偏差（IEB），即CVR估计值本质上大于实际值；（2）错误独立先验（FIP），即可能忽视了从点击到点击后转化的因果关系。基于此，本文进一步提出了一种模型不可知的方法，称为整个空间反事实多任务模型（ESCM2），它利用反事实风险最小化器同时处理IEB和FIP问题。为了证明ESCM2的优越性，本文探索了其在实践中的参数调整，推导了其分析属性，并展示了其在工业中的有效性，其中ESCM2可以有效缓解内在的IEB和FIP问题，并优于基线模型。

研究背景

推荐系统旨在向用户传递有价值的物品以满足他们的兴趣，推动电子商务、广告和社交媒体中的用户增长。在典型的基于内容的推荐流程中，包括离线和在线两个阶段。在离线阶段，从日志中提取项目属性、用户档案和它们的交互来训练多任务排名模型。在在线阶段，排名模型根据估计的点击通过率（CTR）、点击后转化率（CVR）和点击转化率（CTCVR）对所有候选项目进行排名。基于此，项目被暴露给用户以满足他们的个性化偏好。最后，排名模型的性能将根据实时用户反馈进行优化。然而，点击反馈经常不能真实反映用户偏好，因为它在实践中容易受到许多因素的影响，例如点击诱饵。相比之下，点击后反馈，即CVR，忠实地反映了用户偏好，并直接影响商品交易总额，因此在推荐委员会中引起了特别关注。
在这里插入图片描述

问题与挑战

在构建CVR估计器的简单但广泛选择的方法中，存在两个关键问题。第一个问题是样本选择偏差，即训练空间仅由用户-项目交叉点组成，其中点击发生，而推理空间是整个曝光空间。由于CVR较低的交叉点更有可能从训练空间中排除，导致训练数据并非随机缺失，这导致训练空间和推理空间之间的偏差。第二个问题是点击样本的稀疏性。鉴于Ali-CPP基准测试的CTR为4%，我们的工业基准测试为3.8%，训练数据的数量极不足以开发一个可泛化的CVR估计器。总之，这两个问题显著阻碍了简单方法在点击空间之外的泛化和在线性能。