DeepFM论文笔记

DeepFM论文笔记

Introduction

FM(Factorization Machines) 将成对特征间的交叉建模为特征之间潜在向量的内积。

Embedding layer

embedding 层的输出表示为：
$$a=[e_1,e_2,...e_m]$$
m是field的数量，$e_i$是第i个field的embedding。
1）虽然不同输入field的向量长度不同，但是它们都embedding到了相同的维度(k)。
2）FM中的潜在特征向量(V)是被当成网络权重来学习，并被用来把输入field的向量压缩成embedding向量。

Trained jointly

$$\hat{y}=sigmoid(y_{FM}+y_{DNN})$$
DeepFM 包含两部分，一侧是FM，一侧是DNN，它们共享相同的输入层。它既建模了类似FM的低阶特征交叉，也建模了类似DNN的高阶特征交叉。再也不需要和Wide&Deep类似的特征工程。