推荐系统之阿里广告：Deep Interest Evolution Network for CTR

最新推荐文章于 2024-05-03 18:06:21 发布

于建民

最新推荐文章于 2024-05-03 18:06:21 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：技术博客文章标签： Recommend System DIEN Predict CTR AUGRU Auxiliary Loss

本文链接：https://blog.youkuaiyun.com/yujianmin1990/article/details/84496566

技术博客专栏收录该内容

79 篇文章

订阅专栏

本文深入解析阿里最新推出的DIEN模型，介绍了其通过构建兴趣提取层和AUGRU组件改进推荐系统的方法，旨在提升用户兴趣状态的学习效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

阿里又出了篇DIEN，据传提高了20.7%，让我们拿来一睹为快。

亮点

1）构建兴趣提取层，并加入辅助loss来更有效学习兴趣状态。
2）构建AUGRU（GRU with Attention Update Gate），可以接住兴趣状态来model用户兴趣演化。
直接上图

辅助 loss

用GRU的隐状态来提取每一步的用户兴趣状态，由于点击与否只在最后一步上对隐状态有最大化的指导作用，引入了辅助loss来帮助中间步的隐状态学习用户兴趣状态的表达。每个 $T_i$ 都跟着一个无点击的采样。 $Laux=−1N(∑i=1N∑tlogσ(ht,ebi[t+1])+log(1−σ(ht,e^bi[t+1])))L_{aux}=-\frac{1}{N}(\sum_{i=1}^N\sum_t log \sigma (h_t, e_b^i[t+1]) +log(1-\sigma(h_t, \hat{e}_b^i[t+1])))$
其中 $σ(x1,x2)=11+exp(−[x1,x2])\sigma(x_1, x_2) = \frac{1}{1+exp(-[x_1,x_2])}$ ， $h_t$ 表示GRU的隐状态， $eb∈RT×nEe_b \in R^{T \times n_E}$ 表示时序的点击向量序列， $e^b[t]\hat{e}_b[t]$ 表示时序 $T = t$ 时的负样本向量序列。 $N$ 表示共有 $N$ 对 ${ebi,e^bi}\{ e_b^i, \hat{e}_b^i \}$ 来作一批训练集。类似负采样，但是仅仅一次采样负样本。总loss $L=Ltarget+α∗LauxL=L_{target} + \alpha * L_{aux}$ ，其中 $L_{target}$ 是负log似然。

AUGRU

为了描述用户兴趣演化，借助上面的兴趣状态，对用户兴趣演化建模，将GRU的update gage替换为attention-score*update-gate。 $ut′=ut∗at⟶at=exp(htWea)∑j=1Texp(hjWea)u_t'=u_t * a_t \longrightarrow a_t=\frac{exp(h_t W e_a)}{\sum_{j=1}^T exp(h_j W e_a)}$
标准的GRU组件，如下：
${ut=σ(Wuit+Uuht−1+bu)rt=σ(Writ+Urht−1+br)h~t=tanh(Whit+rt⊗Uhht−1+bh)ht=(1−ut)⊗ht−1+ut⊗h~t\left\{\begin{matrix} u_t = \sigma(W_u i_t + U_u h_{t-1} + b_u) & \\ r_t = \sigma(W_r i_t + U_r h_{t-1} + b_r) & \\ \tilde{h}_t = tanh(W_h i_t + r_t \otimes U_h h_{t-1} + b_h) \\ h_t = (1- u_t) \otimes h_{t-1} + u_t \otimes \tilde{h}_t \end{matrix}\right.$
将GRU的第四个式子的 $u$ 替换为 $ut′u_t'$ 即为AUGRU。