whgyxy的博客

ctr&cvr预估任务中有很多非常有区分性的特征没法使用，比如用户点击之后的互动时长、点击之后的一些页面动作信息，因为只有离线训练的时候能拿到，线上预估的时候是拿不到的，为了保持线上和线下的一致性，这些“优势特征”(Privileged Features)就会被忍痛割爱舍弃掉。通过蒸馏的方式，teacher模型的特征输入包含了优势特征，teacher模型和student模型结构一样，只是特征输入不同，teacher模型将学习到的信息蒸馏迁移到student模型。，teacher的模型参数。

DIN的结构图如下DIN通过引入attention来解决用户表征向量和目标广告的自适应匹配。使用attention机制来表达用户的动态兴趣，可以表示如下vUAfvAe1e2eH∑j1HattentionejvA∑j1HwjejvU​AfvA​e1​e2​...eH​j1∑H​attentionej​vA​j1∑H​wj​ej​e1e。

本文提出的SDIM(Sampling-based Deep Interest Modeling),基于采样的端到端的方法来建模长期用户行为序列。从多个hash函数中采样产生候选物料和用户序列行为的hash签名，然后直接聚合具有和候选物料相同的hash签名的行为序列，得到用户的长期序列兴趣向量。

长序列用户建模的两阶段方法存在两个问题，首先是目标不一致，第一阶段目的是找到和目标物料相似的用户序列行为，第二阶段是尽可能的准确建模点击率；其次，第一阶段和第二阶段的更新频率不同，第一阶段是离线构建索引，然后导入到线上，第二阶段是参与在线训练。受Reformer的启发，我们提出了一种称为 ETA（End-to-end Target Attention）可以大大降低训练和推理成本，并端到端训练长期用户行为序列。

MIMN是工业解决方案中第一个可以对用户序列长度达到1000的数据进行建模。但MIMN无法精确捕获给定用户兴趣的特定候选项目时，长度为用户行为序列进一步增加，比如增加10倍或更多。本文提出的基于搜索的兴趣模型(SIM)通过两个级联搜索单元提取用户兴趣:(i)泛搜单元GSU(General Search Unit)负责从原始序列泛搜任意长的顺序行为数据，并获得相关的子用户行为序列(SBS)(ii)**精搜单元ESU(Exact Search Unit)**对候选物料和SBS之间的精确关系进行建模。

对于序列建模，实践了机器学习算法与在线服务协同设计的CTR预测系统，理论上可以处理无限长的用户序列。从服务系统的角度来看，通过设计一个单独的模块用户兴趣中心UIC(User Interest Center)，将用户兴趣模型中最消耗资源的部分与整个模型解耦。UIC维护最新的兴趣状态，对于每个用户，其更新取决于实时的用户行为触发事件，而不是流量请求，因此UIC是无延迟的实时CTR预测。来自机器学习算法角度看，提出了一种新的基于内存的架构，命名为多通道用户兴趣记忆网络MIMN

论文核心议题是：通过sota的多模态encoder得到的item Embedding，纯基于多模态的模型MoRec(modality-based recommendation model)能否比纯基于ID的模型IDRec(e ID-based model)效果好？

SINE多兴趣召回笔记