twitter rec

一. 整体框架

共享 embedding + 共享骨干网 + 多头 dnn

embedding 采用预训练 graph embedding 和端到端训练的 embedding 的集合

https://github.com/twitter/the-algorithm-ml

二. dnn

共享一个骨干网，

13 个任务，13 个头，头都很小 [256, 128, 1]

Adam 优化器，每个头学习率不同

DAG

整体

4 个结构一样的 mask_net，13 个多任务的输出头

mask_net

三. embedding

embedding 分为 3 种

1. 常规的 id 类离散特征，通过 table look-up 获得，随 dnn 一起训练

1. 连续型特征, concat 到特征 1 上

1. 预训练的 graph embedding，concat 上去，冻结，不随 dnn 一起训练

graph embedding

TwH