Factorization Machines ---- FM模型论文阅读笔记及相关推导

Introduction

在类似协同过滤的场景下，SVM的作用不如一些如PARAFA等直接进行矩阵因子分解的模型。

Why:
因为在含有大量稀疏数据的场景下，SVM不能从复杂的核空间中学到可靠的超平面。

FM的优点:

1. 能在高维稀疏数据的场景下进行参数估计（SVM并不擅长）。
2. 能关联变量间的相互作用。
3. 线性的计算时间，线性的参数量
4. 可以使用任意实数域的特征向量进行预测（其他因子分解模型对输入数据非常严格）

Prediction under sparsity

最普遍的CTR场景是通过训练集
D = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . } D=\{(x^{(1)} ,y^{(1)}),(x^{(2)} ,y^{(2)}),...\} D={ (x(1),y(1)),(x(2),y(2)),...}

估计一个函数：
$$y:R^n\to T$$

从$x\in R^n$特征向量映射到目标域$T$

Factorization Machine Model

定义

$$\hat{y}(\mathbf{x}):=w_0+\sum _{i=1}^n{w}_i{x}_i+{\hat{w}}_{i,j}{x}_i{x}_j$$
可转化为：
$$\hat{y}(\mathbf{x}):=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$
其中:

（1）
$$w_0\in \mathbb{R},\mathbf{w}\in {\mathbb{R}}^n,\mathbf{V}\in {\mathbb{R}}^{n\times k}$$
（2）<·，·> 为两个K维向量的点乘（K为超参数）
$$<v_i,v_j>:=\sum _{f=1}^k{v}_{i,j}\cdot v_{j,f}$$
因为实践中通常没有足够数据去预估$\hat{W}$因此K值选择数值较小的值。

（3）
$${\hat{\mathbf{w}}}_{i,j}:=<v_i,v_j>$$
代表第i个变量和第j个变量的相互关系(interaction)，因为任意正定矩阵存在一个矩阵$\mathbf{V}$令$\mathbf{W}=\mathbf{V}\cdot {\mathbf{V}}^{\mathrm{T}}$,因此使用因子分解后的$V$进行转化。

推导

在数据非常稀疏的场景下，由于大部分特征$x_i,x_j$的值为0，因此很难直接求解出$\hat{W}$，因此通过引入辅助变量$V_i=(v_{i1},v_{i2},...,v_{ik})$。
V = ( v 11 v 12 . . . v 1 k v 21 v 22 . . . v 2 k ⋮ ⋮ ⋮ v n 1 v n 2 . .