weixin_37562062的博客

众所周知，FM通过融合了交叉特征项，提高了其线性回归模型的预测能力。在FM的交叉特征项的建模过程中，有两个特点：1.它会将所有特征两两组合，得到所有的交叉特征项；2.所有的交叉特征性共享或者说使用相同的权重。但是，并不是所有的特征交叉项都是有用的，甚至于一些无用的交叉项可能会使得模型引入噪声。在实际应用中，不同的预测变量（如交叉特征项）有不同的预测能力，并不是所有特征都包含对预测结果有用的信号。有用的特征应该赋予更高的权重，无用的特征应该赋予更低的权重。文章中认为，FM的这种对所有交叉特征项

PNN，使用embedding layer学习categorial data的分布式表示；使用product layer去捕获interfield categories的交叉模式；使用connected laye去探索高阶特征交叉。DNN可以自动学习更有表现力的特征表示，并提供很好的预测性能。基于连接的embedding vector基础上，建立MLPs可以探索特征交叉。但是有两个问题：（1）嵌入的初始化的质量在很大程度上受到因子分解机的限制；（2）感知器层的“add”操作对于探索多个字段中catego

1.背景DeepFM，2017年被提出，是一个以并行形式结合了DNN和FM的模型。它被提出用于解决构建复杂特征组合的问题。在CTR预测中，学习用户点击行为背后的隐藏特征组合是非常重要的。这些隐藏特征组合通常比较复杂，包括了低阶和高阶。我们需要注意是的，低阶和高阶的特征组合是同样重要的，我们不应该忽略任意一个。构建特征组合的问题，其实一直是CTR预测中的一个难题。对于复杂高阶特征组合...

https://blog.youkuaiyun.com/akirameiao/article/details/84968922解读：这里有两个词很重要，在后面也会反复出现：memorization 和 generalization，译文中翻译成记忆和泛化并不是特别好（但也想不到什么更合理的）。memorization是指学习已知的特征变换和特征组合对结果的影响，generalization是指学习未知的特...

1. 什么是FFMField-aware Factorization Machines（简称FFM），是由YuChin Juan与其比赛队员提出，是FM的一种变式。在Click-through rate (CTR) 预测中，FFM的效果好于二阶多项式（Poly2）和FM模型。针对CTR预测，学习特征组合的影响是十分重要的，而普通的线性模型（y=wx）是很难学习特征组合项的参数。此前，针...

Factorization-Machines（简称FM），中文一般叫做“因子分解机”，它最早由Steffen Rendle在2010年提出，解决了稀疏数据场景下的特征组合问题。 FM具有几下几个优点： FM可以在稀疏数据场景下进行参数估计 FM具有线性的时间复杂度 FM是一种可用于任何实值特征向量的通用预测器。...