推荐算法－AFM

推荐算法－AFM

  推荐算法－AFM，这篇文章也是在FM的基础上做工作。这篇文章是针对特征之间组合时，不同的特征都是用同样的向量去做。即每一个特征和其它的特征进行组合时，都是采用同一个向量，缺乏不同特征之间的关联性不同，应该采用不同的向量。解决这个问题的一个思路就是FFM，即每一个特征针对每一个的field生成一个特征向量，即在进行特征组合时，采用不同的向量表示去做。本文是解决这个问题的另一种思路，也就是对不同的特征组合赋予不同的权值，而且这个权值是可学习的，体现了模型对不同的特征组合的关注度不同。我的理解是对与最后的分类贡献程度较高的特征组合，会赋予较高的权值。
  说到Attention，在cv、nlp、推荐这三个领域都有使用，可见Attention的作用之大。有人在cv领域使用Attention，可以找出深度模型作出最后判决所依据的区域，在nlp领域通过Attention可以找出关键词。在推荐中，可以为不同的特征组合赋予权值。总体的思路就是模型对不同的特征组合关注度是不同的。

AFM网络结构

从上图中可以看出，前半部分AFM的模型结构和NFM的基本一致，都是先把特征映射到固定的长度，然后计算FM部分，即上面的Pair-wise Interaction Layer部分。但是后面的就不一样了，NFM是直接在FM后面接入了一个NN层，而AFM是生成了一个Attention-based Pooling，即生成一组权重向量，然后再和Pair-wise部分对应相乘。AFM没有继续对这部分特征进行深层神经网络的学习，或许引入NN会进一步提升模型的精度。
  FM的公式大家应该还记得，这里先回归一下：


attention就是对上面$V_i,V_j{x}_i{x}_j$部分进行加权。最终AFM的公式表达为：
$$y_{AFM}=w_0+\sum _{i=1}^n{w}_i{x}_i+P^T\sum _{i=1}\sum _{j=i+1}{a}_{ij}<V_i,V_j>x_i{x}_j$$