阿里妈妈star论文重点记录

论文地址：https://arxiv.org/pdf/2101.11427.pdf

1：业务实际应用

自 2020 年底以来，STAR 已部署在阿里巴巴展示广告系统，点击率提升8.0%和RPM增加6%

2：特点

星型拓扑促进跨多个domain的有效信息转换，在捕获domain的特有信息的同时也会学习domain之间的共性

不同的domain有不同的数据分布，这导致使用bn时统计信息不准确。 我们提出分区归一化（PN），将来自不同domain的数据标准化分开来做

在多domain CTR 预测中，描述domain信息很重要。 我们提出了一个辅助网络，将domain信息直接视为输入并学习其嵌入来描述domain。然后将嵌入馈送到辅助网络，该辅助网络比原来的网络简单多了。 这使得领域指标直接影响最终预测

为此，我们提出了 Star Topology Adaptive Recommender
(STAR) 用于多域 CTR 预测，以更好地利用不同域之间的相似性，同时捕获域差异。如图 4 所示，STAR 由三个主要组件组成：
(1) 分区归一化 (PN)，它将来自不同domain的数据单独进行归一化

作用1：稳定的分布可以使网络中的参数不用过于频繁的调整更新来适应变化，可以加快训练

作用2：没有BN，会使分布逐渐往非线性函数取值区间的上下限偏移。有了BN，放在激活函数之后

训练时：每个mini-batch基于该batch的数据计算

预测时：通过移动平均方法追踪训练过程中每个mini-batch的均值和方差
(2) 星形拓扑全连接神经网络（星型拓扑FCN） 

创新点在于如何像多目标建模一样，构建domain共有和私有的结合，具体如下图

很明显，两部分都是mlp网络。centered的输出是所有场景的样本（看图中是domain过了pn层的结果），domain-m就是各自场景的样本，然后结果进行点乘

(3) 辅助网络直接将domain标识特征作为输入，然后学习嵌入embedding来捕获domain信息

参看文献：【多场景建模】CIKM2021 阿里妈妈多场景CTR预估模型STAR 论文精读_文文学霸的博客-优快云博客