不学无术的小镇做题家

引言本篇文章介绍的是Attentional Factorization Machines(AFM)。AFM开创性地将注意力机制引入到因子分解机(Factorization Machines)中，可视为FM和NFM的延续之作，这两个模型在前面博客中已经进行了介绍，有兴趣的读者可以点击蓝色链接进行深入了解。简单回顾一下，FM使用两个隐向量的内积来表示一对特征组合的权重，增强了模型的泛化性；NFM为了弥补FM中特征交叉阶数有限的缺点，引入深度神经网络(DNNs)构建交叉特征，并提出了一种新的特征交叉操作。概

动机在推荐系统中，交叉特征(Cross Features)可以深入挖掘特征之间的潜在关系，提升模型效果。例如，把职业特征occupation={banker,doctor}occupation=\left\{banker,doctor\right\}occupation={banker,doctor}和性别特征gender={M,F}gender=\left\{M,F\right\}gender={M,F}进行交叉组合，可以得到新特征occupation_gender={banker_M,banker_F

引言Deep & Cross模型来自于2017年的KDD论文：《Deep & Cross Network for Ad Click Predictions》。该模型可以看作是Wide & Deep模型的延续，着眼于解决特征交叉问题。研究动机传统的特征交叉都需要学者进行人工定义，过程较为繁琐。深度神经网络（DNNs）虽然可以自动完成特征交叉过程，节省了人工操作。但是，DNNs的特征交叉操作是自动且隐式(implicit)的：无法显式地判断哪些特征组合是有利的，并且对所有特征组合都

引言这篇工作的着眼点是在特征交叉方面，提出了一个乘积层(product layer) 来对多个领域(field) 的特征进行充分的特征交叉。其中，product layer包含两种形式，分别是内积形式(inner product)和外积形式(outer product)。整体的模型结构上图是PNN的整体模型架构，这里简单介绍一下。InputInputInput是经过one-hot编码的稀疏向量，经过EmbeddingEmbeddingEmbedding层生成稠密的特征向量矩阵xxx。x[start

动机Wide&Deep首先提出了分别用Wide部分来捕捉低阶特征交叉，用Deeo部分来捕捉高阶特征交叉。但是，Wide部分需要人工设计特征交叉的规则，不能完全交给网络训练。所以，DeepFM用FM(因子分解机)来取代Wide部分，让FM自动地学习低阶的特征交叉。网络架构DeepFM的网络架构如上图所示，左边是FM部分，右边是Deep部分。可以看到两个部分共享同一个Embedding层，这一点是和Wide&Deep不一样的。FMFM的主要功能用网络层来完成特征的一阶交叉和二阶交叉

1、介绍Wide & Deep模型的出发点是兼顾模型的记忆能力和泛化能力，下面解释一下这两者的含义。记忆 （Memorization）：指的是模型记住商品共现性的能力。举个例子，一个父亲逛淘宝通常会同时买尿布和啤酒，这就体现了商品的共现性。购买的次数多了，当模型看到尿布，自然会给用户推荐啤酒，这就是模型的记忆能力。泛化（ Generalization）能力：只是的模型挖掘用户潜在喜好的能力。比方说，你经常刷足球类的短视频，软件就会根据足球去联想，你是不是有可能喜欢C罗呢？然后软件就会尝试给你

介绍深度学习未兴起时，传统矩阵分解(Matrix Factorization)是推荐领域中的一种经典方法，基本做法是：把用户和商品映射到隐向量空间，用向量表示。通过内积，来表示向量之间的相似性。作者认为，通过内积来表示向量相似性的做法过于简单，有时候会出现错误，限制了模型的泛化能力。文中的一个例子：对于(a)中的交互矩阵，用sss表示用户之间的相似度，可以明显得看出s23(0.66)>s12(0.5)>s13(0.4)s_{23}(0.66) > s_{12}(0.5)

动机在广告推荐领域，工程师可利用的初始输入非常多。如何从海量特征中制作高质量的特征，在当时成为一个迫切问题。虽然有经验的工程师可以手工制作高质量的特征，但是，在大数据规模的业务场景下，手工制作特征的可行性很低。能不能让网络自己从初始输入中学习到高质量的特征呢？这就是Deep Crossing解决的问题——完整地解决了从特征工程、稀疏向量稠密化、多层神经网络进行优化目标的整个流程。特征的预处理特征类别论文中提到的数目繁多的特征中，主要有三种特征数值型特征，如点击率，也称为计数型特征样例特征，如广

“域”概念的提出本篇的模型是FFM，全称是Field-aware Factorization Machine。作者认为，FM中虽然对特征做了高阶（一般是二阶）交叉，但是有一个弊端：在实际场景中，特征的领域(Field)很可能不同，比如性别、品牌、国籍等，向量在不同域的表示应该不一样才对，FM只用一个向量Embedding来表示特征，也就意味着在与其他特征做交叉的时候，使用的是同一个向量，这显然是不合理的。所以，FFM引入了域(Field)的概念，做法就是每个特征不再使用单一向量表示，而是fff个向量，这

论文链接：Factorization MachineMotivationSVM在通用场景下的分类性能和模型学习是非常高效的，但是在推荐场景下，用户与商品的交互矩阵是高度稀疏(sparse)的，SVM并不适用于向量高度稀疏的学习任务中。于是，本文提出了一个新的模型——Factorization Machine(因子分解机)，简称FM，来解决向量高度稀疏场景下的模型学习问题。Contribution主要有三点：FM能够在数据非常稀疏的场景下学习，这一点SVM做不到。（你做不了的，我能做）FM计算复