DIEN——biji

是 DIN 的升级版，共分为三层，用户行为层，用户兴趣抽取层，用户兴趣演化层.

用户行为层

用户兴趣抽取层

为了将用户兴趣学习的更加充分，加入了额外 loss，h(t)和e(t+1),e(t+1)`，构建正负样本，类似于多目标的学习。

用户兴趣演化层

为了学习用户和候选item的关系，加入了 attention 机制，Attention + GRU的实现这里给了三种方法：

GRU with attentional input(AIGRU):

将抽取层的 h_t 与 weight 相乘直接作为 演化层 GRU 的输入

Attention based GRU(AGRU):

用 attention weight 替代 GRU的更新门，直接修改 hidden 层为

AGRU 弱化不相关的兴趣

GRU with attentional input(AIGRU):

虽然 AGRU 将 attention score 用于控制 hidden 层的更新，但是用一个数值替换一个向量，会忽略很多信息，这里将attention score 作用到控制 hidden 层更新的 GRU 更新门上。