【论文笔记】FM: Factorization Machines

本文记录因子分析机FM算法的推导和理解笔记

论文地址

https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf

二阶FM推导过程

FM在预测任务是考虑了不同特征之间的交叉情况， 以2阶的交叉为例：
$$\hat{y}(x)=w_0+\sum _{i=1}^n{w}_i\ast x_i+\sum _{i=1}^n\sum _{j=i+1}^{n}W{x}_i{x}_j\text{\hspace{1em}(1)}$$
其中的$w_0$,$w_i$,$W$是模型需要学习的内容。由于在实际场景中，$x_i$，$x_j$都是维度很大并且稀疏的one-hot类型的向量，如果直接学习交叉项的权重$W$很容易过拟合。
但是注意到$W$应该是一个实对称的矩阵，由实对称矩阵理论的性质：
每个实对称矩阵$A$可以分解成这样一种形式：$A=Q\Lambda Q^T$ ，其中$\Lambda$为对角阵，$Q$为正交矩阵
进而$W$可以被分解成$W=V{V}^T$，其中$V\in R^{n\times k}$，所以式子(1)可以化成:$$\hat{y}(x)=w_0+\sum _{i=1}^n{w}_i\ast x_i+\sum _{i=1}^n\sum _{j=i+1}^n⟨v_i,v_j⟩x_i{x}_j\text{\hspace{1em}(2)}$$
$v_i$和$v_j$可以用长度为$k$的向量表示：$⟨v_i,v_j⟩={\sum }_{f=1}^k{v}_{i,f}\cdot v_{j,f}$
所以有：
y ^ ( x ) = w 0 + ∑ i = 1 n w i ∗ x i + ∑ i = 1 n ∑ j = i + 1 n ∑ f = 1 k v i , f ⋅ v j , f x i x j (3) \hat{y}(x)=w_0+\sum_{i=1}^{n}w_i*x_i+\sum_{i=1}^{n}\sum_{j=i+1}^{n}\sum_{f=1}^{k}v_{i,f} \cdot v_{j,f}x_ix_j \tag{3} y^​(x)=w0​+i=1∑n​wi​∗xi​+i=1∑n​j=i+1∑n​