u013250861的博客

相比“协同过滤” 模型仅利用用户与物品的相互行为信息进行推荐，逻辑回归模型能够综合利用用户、物品、上下文等多种不同的特征，生成较为“全面”的推荐结果。另外，逻辑回归的另一种表现形式“感知机”作为神经网络中最基础的 单一神经元，是深度学习的基础性结构。因此，能够进行多特征融合的逻辑回归模型成了独立于协同过滤的推荐模型发展的另一个主要方向。相比协同过滤和矩阵分解利用用户和物品的“相似度”进行推荐，逻辑回归 将推荐问题看成一个分类问题，通过预测正样本的概率对物品进行。............

FM（Factorization Machines，因子分解机）早在2010年提出，作为逻辑回归模型的改进版，拟解决在稀疏数据的场景下模型参数难以训练的问题。并且考虑了特征的二阶交叉，弥补了逻辑回归表达能力差的缺陷。FM 作为推荐算法广泛应用于推荐系统及计算广告领域，通常用于预测点击率 CTR（click-through rate）和转化率 CVR（conversion rate）。...........................

推荐模型-上下文感知-2013：DSSM。

2015年，Criteo基于FM提出的FFM在多项CTR预估大赛中夺魁，并被Criteo、美团等公司深度应用在推荐系统、CTR预估等领域。相比FM模型，FFM模型引入了特征域感知（field-aware）这个概念，使模型的表达能力更强了。，整整比FM算法多了一个F！多出来的F意为Field。..................

推荐模型-上下文感知-2016：PNN。

FNN模型是2016提出来的，当时各大公司都还在探索如何将深度学习技术应用于推荐系统，一些头部公司开始了初步的尝试，比如Google应用并发表了Wide&Deep模型，微软在Bing的搜索广告场景尝试了Deep Crossing模型，都是那个时代的代表模型，对业界发展起到了重要作用。由于Embedding的初始值得到了FM的预训练，因此在训练DNN的时候，模型收敛速度更快；模型的核心思想是采用FM训练得到的隐向量作为神经网络第一层权重的初始值，之后是隐藏层，最后是点击率预估的输出。.............

从上面图里面也会看到Wide&Deep的重要性， 是处于一个核心的地位， 后面的很多深度学习模型都是基于此模型的架构进行的改进。所以该模型的提出在业界是有非常大的影响力的。在这个模型中小伙伴们主要还是学习这个模型的思想。在CTR预估任务中，线性模型仍然很重要，主要是因为利用手工构造的交叉组合特征来使线性模型具有“记忆性”，模型记住共现频率较高的特征组合，往往也能达到一个不错的baseline，且可解释性强。...

正如名称所示，DeepFM 是 Deep 与 FM 结合的产物，也是 Wide&Deep 的改进版，只是将其中的 LR 替换成了 FM，提升了模型 wide 侧提取信息的能力。DeepFM 与Wide&Deep 只是 FM 与 LR 的区别么？DeepFM 是由华为诺亚方舟实验室在 2017 年提出的模型。学 DeepFM 之前建议先了解 FM 与 Wide&Deep。

模型-上下文感知-2017：AFM。

Wide&Deep模型原理很简单，但是最主要的是要掌握Wide&Deep这种线性和非线性，处理高维稀疏向量和embedding稠密向量的方式，能够使得模型同时具有泛化能力和记忆能力。模型的结构也非常简洁，从下往上依次为：Embedding和Stacking层、Cross网络层与Deep网络层并列、输出合并层，得到最终的预测结果。Deep&Cross模型是2017年由斯坦福大学和谷歌在ADKDD会议上联合提出的，该模型是对Wide&Deep模型的一种改进。...........................

整体的架构体系如下，左侧为FM的结构层，右侧为Deep部分的结构层，两者公用相同的特征输入，其实我刚看到下面的图也有点懵逼，两部分分离的架构都好理解，但是那些红线和黑线都表示什么？DeepFM可以看做是从FM基础上衍生的算法，将Deep与FM相结合，用FM做特征间低阶组合，用Deep NN部分做特征间高阶组合，通过并行的方式组合两种方法，使得最终的架构具有以下特点。这都是我刚看到如下图产生的疑问，经过阅读源码后，才有了较为清晰的理解，接下来进行一一的解答。（3）能同时学习低阶和高阶的组合特征；

AFM可以看作是对NFM功能的增强，实际上NFM的作者参与到了AFM的研究当中。在NFM的BI层，对交叉特征的向量进行Sum Pooling时是没有权重的，对所有的特征交叉都一视同仁，平等对待。但实际中，不同的特征组合对结果的影响程度是有差别的，通过Attention机制可以显式地将这些差异学习出来，增加了信息量，可以对模型的效果带来提升，同时还对可解释性带来了帮助。两两向量交叉之后，与一个注意力分数a相乘，表示这组交叉对于最终输出的影响程度，其中a也是通过训练学到的。..................

FNN探索了FM与DNN相结合的方式，而Wide&Deep则给出了一种模型组合的思路，NFM通过设计一种结构，把FM和DNN直接组合了起来，不同于FNN需要两阶段训练，NFM是一个同时包含了FM和DNN两部分的完整模型，训练过程是端到端的。通过BI层，NFM把FM的显式二阶交叉和DNN的隐式高阶交叉能力组合到了一起，训练时，参数可以通过DNN反向传播到FM的隐向量进行统一更新，实现了真正的端到端训练。可以看出，与FM的公式相比，前两项是一样的，只有第三项由原来的二阶隐向量内积变成了f(x)。........

乍一看论文标题xDeepFM还以为是对DeepFM的改进，实际上不是，xDeepFM是对DCN（deep&cross network）的改进。

推荐模型-上下文感知-2018：AutoInt。

推荐模型-上下文感知-2018：FwFM。

推荐模型-上下文感知-2019：Fi-GNN。

推荐模型-上下文感知-2021：DCNv2。