Field-aware Factorization Machines for CTR Prediction

最新推荐文章于 2021-11-16 12:38:35 发布

DrWells

最新推荐文章于 2021-11-16 12:38:35 发布

阅读量216

点赞数

文章标签： AI 推荐系统

本文链接：https://blog.youkuaiyun.com/u013306830/article/details/97965925

版权

本文深入解析了Field-aware Factorization Machines（FFM）模型，一种FM的变种，特别适用于个性化标签推荐。FFM通过引入field概念改进了FM，提高了在稀疏数据集上的表现。与Poly2模型相比，FFM在学习特征间交互时更加准确，特别是在处理包含ESPN和Adidas等特征对的样本时。FFM模型不仅支持并行化，速度快，而且在稀疏数据处理上优于多项式模型和FM。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接：
https://www.csie.ntu.edu.tw/~cjlin/papers/ffm.pdf

主要内容

Field-aware Factorization Machines（FFM）场感知分解机是FM的变种，FM的变体称为成对相互作用张量因子化（PITF）被提出用于个性化标签推荐。在2012年KDD杯中，PITF被称为“因子模型”的概括由Team Opera提出。因为这个术语太笼统，很容易与分解机器混淆，我们称之为“现场感知分解机器”（FFM）PITF和FFM之间的区别在于PITF考虑了三个特殊字段，包括“用户”，“项目”和“标记”，而FFM则更为通用。

VS Poly2&FM

Poly2:
$\phi_{\mathrm{Poly} 2}(\boldsymbol{w}, \boldsymbol{x})=\sum_{j_{1}=1}^{n} \sum_{j_{2}=j_{1}+1}^{n} w_{h\left(j_{1}, j_{2}\right)} x_{j_{1}} x_{j_{2}}$
FM：
$\phi_{\mathrm{FM}}(\boldsymbol{w}, \boldsymbol{x})=\sum_{j_{1}=1}^{n} \sum_{j_{2}=j_{1}+1}^{n}\left(\boldsymbol{w}_{j_{1}} \cdot \boldsymbol{w}_{j_{2}}\right) x_{j_{1}} x_{j 2}$
在稀疏数据集上，FMs模型要比poly2模型好一些，比如对于上述例子中，对于pair(ESPN,Adidas)只有一个唯一的负样本，通过poly2模型会学习到一个大的负向权重对于这个pair，然而对于FMs来说，因为它是学习ESPN和Adidas的隐向量表示，所有包含ESPN的样本和所有Adidas的样本都会被分别用来学习这2个隐向量，所以它的预测会更准确一些。

FFM模型

原文挺清楚的，这边排版不好的话推荐看原文

In our example, φFFM(w,x) is wESPN,A · wNike,P + wESPN,G · wMale,P + wNike,G · wMale,A. We see that to learn the latent effect of (ESPN, NIKE),wESPN,A is used because Nike belongs to the field Adver- tiser, and wNike,P is used because ESPN belongs to the field Publisher. Again, to learn the latent effect of (EPSN, Male), wESPN,G is used because Male belongs to the field Gender, and wMale,P is used because ESPN belongs to the field Pub- lisher. Mathematically,
$\phi_{\mathrm{FFM}}(\boldsymbol{w}, \boldsymbol{x})=\sum_{j_{1}=1}^{n} \sum_{j_{2}=j_{1}+1}^{n}\left(\boldsymbol{w}_{j_{1}, f_{2}} \cdot \boldsymbol{w}_{j_{2}, f_{1}}\right) x_{j_{1}} x_{j_{2}}$
f2表示j2的field，f1表示j1的field。