GLM到FM到FFM到DeepFM

GLM(General Linear Model)

$$y=w_0+\sum _{i=1}^n{w}_i{x}_i$$

FM(Factorization Machine)

$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j$$
$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<V_i,V_j>x_i{x}_j$$

FFM（Field-aware Factorization Machine）

$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<V_{i,f_j},V_{j,f_i}>x_i{x}_j$$

DeepFM

整体对比

广度模型(GLM、FM、FFM)学习一阶或两阶特征组合。
深度模型(FNN、PNN)学习高阶特征组合。
广度和深度模型(Wide&Deep、DeepFM）同时学习低阶和高阶特征组合。
DeepFM和Wide&Deep相比，无需特征工程，包含低阶和高阶特征组合。

FM对比GLM:

GLM不能组合出以前从来没出现过的特征，FM可以。
GLM学习的是组合特征的权重（$W_{ij}\ast X_i{X}_j$），对于没有出现的组合特征，权重无法学习。$W_{ij}$和$W_{ik}$是相互独立的。
FM学习的是特征的隐向量($<v_i,v_j>\ast X_i{X}_j$)，没有出现的特征组合也可以通过隐向量内积得到。FM通过$v_i$,$v_j$去模拟$W$矩阵，$vi$,$vj$相乘也打破了特征之间的独立性。只要与$X_i$有关的特征，都能够学习到$v_i$，进而影响到$<v_i,v_j>$和$<v_i,v_k>$向量。