【每周一文】Field-aware Factorization Machine（2014）

概述

FFM 近年来在各类比赛取得不俗的成绩，该文介绍了FFM的算法思路和求解过程。

FFM模型

线性模型由于其简单好优化在工业界广泛使用，特别是LR、SVM等表达能力比较强的线性模型。这些模型一个共同的问题是需要人工进行特征组合进行模型优化，沿着这个思路出现了几个模型。

线性模型

基础模型，表示为：

$$\Phi(w,x)=w_0+\sum_{i=1}^nw_i x_i$$
线性模型对特征进行线性加权去表达目标，表达能力较弱。

2阶多项式模型

为了考虑二维特征组合，考虑如下模型

$$\Phi(w,x)=w_0+\sum_{i=1}^nw_i x_i+\sum_{i=1}^n \sum_{j=i+1}^n w_{i,j}x_{i,j}$$
加入一个二次项，将特征进行两两组合。此时能够自动进行特征组合，但是模型计算复杂度和本身复杂度都较大。

FM模型

多项式模型相当于得到一个权重的矩阵，并且非常稀疏，可以采用降维的思路将权重表示成一个向量，由此得到FM模型

$$\Phi(w,x)=w_0+\sum_{i=1}^nw_i x_i+\sum_{i=1}^n \sum_{j=i+1}^n <v_i,v_j>x_ix_j$$
这样可以解决样本不足导致过拟合的问题，但是FM模型本身也比较容易过拟合，并且向量长度不好选择，过长不容易优化，过短效果不好。

FFM模型

FM模型的改进，将特征进行按照域划分，在每一个维度上都学到一个向量表示，此时选择较小的向量长度就可以得到较好的效果，目标如下:

$$\Phi(w,x)=w_0+\sum_{i=1}^nw_i x_i+\sum_{i=1}^n \sum_{j=i+1}^n <v_{i,f_j},v_{j,fi}>x_ix_j$$
（FFM提出者直接将常数项和一次项去掉）

FFM-LR

基于FFM的LR模型的损失函数表示为

$$min \sum_{i=1}^L(log(1+exp(-y_i\phi(w,x)))+\frac{\lambda}2||w||^2)$$

求解思路

直接采用SGD进行求解。具体可以参考

总结

目前FFM模型在公司CTR、CVR预估上广泛使用，由于该类预测问题会很自然的将特征划分为用户特征、广告特征和上下文特征等，采用FM模型交叉太多而且模型也非常大。采用FFM能够进行特定域下的交叉，方便也很直观。