阿里深度兴趣网络：Deep Interest network(DIN)

DIN(深度兴趣网络)是阿里在KDD2018提出的一种有效的用于CTR、个性化推荐的深度学习模型。其效果已经在阿里的电商平台得到了验证。优秀的文章需要学习记录。接下来对这篇论文进行总结概括：

1. 动机

文章指出，用户兴趣有以下两个特点：

多样性：即每个用户在浏览购物网站的时候可能会对不能的商品感兴趣。比如一个年轻小伙，他可能对电子产品和运动装备都感兴趣。他的历史行为中可能购买过手机、电脑、耳机，也可能购买过护膝、球衣以及篮球鞋。

局部聚集性：由于用户兴趣具有多样性，所以只有部分用户历史行为对是否点击有帮助。比如系统给年轻小伙推荐一款新款篮球鞋，他是否点击只跟他之前买过护膝、球衣的历史行为有关，而与他是否购买过电脑、手机的历史行为无关。

CTR预测是工业应用中常见的任务。常见的深度学习的基线模型是将Embedding&MLP相结合。首先，将大规模的稀疏特征映射为低维度的embedding向量；然后用group-wise将其转换为长度固定的向量；最后将这些向量连接在一起喂入MLP学习特征间的非线性关系。但是这种模型存在一定的缺陷：不论候选ad是什么，用户特征都被压缩为固定长度的表示向量(这限制了Embedding&MLP的表达能力)，这很难从有效的从历史行为数据中捕获用户的多样性兴趣。论文作者提出了DIN模型，即深度兴趣网络，它通过设计局部激活单元自适应的从历史行为中学习用户的兴趣表示。DIN通过引入一个局部激活单元，通过软搜索历史行为的相关部分来关注相关的用户兴趣，并采用加权和池来获得用户兴趣相对于候选广告的表示，与候选广告相关性越高的行为的激活权重越大，并在用户兴趣的表示中占主导地位。实际上就是增加了Attention机制。此外，文中还提出了新的正则化方法以及激活函数。

2. DIN网络模型

不同于搜索，用户进入电商网站并没有明确的意向。因此需要从丰富的历史行为提取出用户的兴趣以此来构建CTR预测模型。

2.1 特征表示

CTR预测任务中的数据大多数都是多分组的类别表，比如特征[weekday=Friday,gender=Female,visited_cate_ids={Bag,Book},ad_cate_id=Book]，这些特征通过编码转化成高维稀疏二值特征。

上述四种特征按照如下的方式编码：

                           

文中使用的特征表示如下表所示：

                          

其中用户行为特征是多热编码，它包含了丰富的用户兴趣信息。文中没有使用组合(交叉)特征，而是通过DNN来学习特征间的交互。

2.1. 基线模型(Embedding&MLP)

很多关于CTR预估的深度学习模型都相似的Embedding&MLP范式，如下图所示：