深度学习-----------2.5（从FM到FFM）

自动特征交叉

2.5.1   POLY2模型——特征交叉的开始

POLY2模型的数学形式：

可以看到，该模型对所有特征进行量量交叉（xj1,xj2），并对所有的特征组合赋予权重wh(j1,j2)，POLY2通过暴力组合的方式，一定程度上解决了特征组合的问题，但是它仍旧属于线性模型，其训练方法与逻辑回归并无区别，因此便于工程上的兼容性。

但是POLY2存在缺陷：

1，数据稀疏导致特征无法进行交叉。

2，权重参数的数量由n直接上升到n2极大的增加了训练的复杂度。

2.5.2    FM——隐向量特征交叉

为解决POLY2的缺陷，FM采用二阶的数学形式，用內积取代权重系数。

 

引入隐向量的方式，直接阿静POLY2模型n2级别的权重参数数量减少到了nk.

2.5.3    FFM——引入特征域的概念

在FFM新模型训练过程中，需要学习n个特征现在f个领域上的k维隐向量，参数的数量共nkf个，其复杂度为kn2