因子分解机

FM(Factorization Machine)

模型描述

在点击率预估等任务中，10维的类别型特征做onehot编码后变成1000维特征，绝大多数特征取值为0，即特征稀疏。然后，某些稀疏特征经过关联得到的关联特征，例如“化妆品”类商品和“女”性，与label之间的相关性会提高。因此对于一个具有n个特征的样本，模型表示

$$\hat{y}=w_0+\sum_{i=0}^n w_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^nv_{ij}x_ix_j$$
但是$x_i$和$x_j$本来就很多为0，$x_ix_j$就更多为0，而有$\frac{n(n-1)}{2}$个$v_{ij}$要训练，因此训练样本的不足很容易导致$v_{ij}$不准确。在$W=VV^T$，其中$W \in R^{n \times n}$，$V \in R^{n \times K}$的启发下，模型变成
$$\hat{y}=w_0+\sum_{i=0}^n w_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_i,v_j>x_ix_j$$
其中，$x_i \in R$，代表样本$x$第$i$维特征取值；$v_i \in R^{1 \times K},i\in \{1,2,\dots ,n \}$，代表特征$i$对应的隐向量，即模型可表示为
$$\hat{y}=w_0+\sum_{i=0}^n w_ix_i+\sum_{i=1}^{n-1}\sum_{j=i+1}^n(v_ix_i)(v_jx_j)^T$$
模型的参数共有$1+n+n \times K$个，而所有第$\{j|x_ix_j \neq 0\}$维特征都可以用来训练$v_i$，很大程度上避免了数据稀疏性的影响。

模型求解

对于回归问题，优化目标是MSE(Mean Square Error)时，对N个训练样本，优化问题描述为

$$min \ J(\theta)=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2$$
由于点击率预估的问题中，样本数量很大，因此采用随机梯度下降方法。优化目标变成在第$i$次迭代中，让当前样本的$J(\theta)$最小
$$min \ J(\theta)=(y_i-\hat{y}_i)^2$$
迭代方程
$$\theta_i=\theta_{i-1}- \alpha \frac{ \partial{J(\theta)}}{ \partial{\theta}}$$
其中
$$\frac{\partial{J(\theta)}}{\partial \theta}=-2(y_i-\hat{y}_i)\frac{\partial{\hat{y}_i}}{\partial \theta}$$
而
$$\frac{ \partial{\hat{y}}}{ \partial \theta}= \begin{cases} 1 & \theta=w_0\\ x_i & \theta=w_i\\ x_i\sum_{j=1}^nv_{jk}x_j-v_{ik}x_i^2 & \theta=v_{ik} \end{cases}$$
其中$i$代表第$i$维特征，$j$代表第$j$维特征，$v_{ik}$代表第$i$维特征的隐向量$v_i$的第$k$维取值。

虽然直观求解

$$\frac{\partial{\hat{y}}}{\partial{v_i}}=\sum_{i=1}^{n-1}\sum_{j=i+1}^n x_i x_j v_j^T$$
复杂度为$O(Kn^2)$，但是
$$\sum_{i=1}^{n-1}\sum_{j=i+1}^n(v_ix_i)(v_jx_j)^T =\frac{1}{2}(\sum_{i=1}^{n}v_ix_i)(\sum_{i=1}^{n}v_ix_i)^T-\frac{1}{2}\sum_{i=1}^n x_i^2 v_i v_i^T$$
因此
$$\frac{\partial{\hat{y}}}{\partial{v_i}}=x_i (\sum_{j=1}^n v_j x_j)^T-v_i^Tx_i^2$$
其中计算$\sum_{j=1}^n v_j x_j$的复杂度为$O(Kn)$；之后计算每个$\frac{\partial{\hat{y}}}{\partial{v_i}},i \in \{ 1,2,\dots ,n\}$的复杂度是$O(1)$，$w_i$和$w_0$也是，即计算每个参数的梯度的复杂度是$O(1)$；得到梯度后更新每个参数的复杂度是$O(1)$；模型参数一共$Kn+n+1$个，因此FM在训练时的复杂度为$O(Kn)$。综上，FM可以在线性时间内训练和预测，是非常高效的模型。

FFM(Field aware factorization machine)

对于一个具有m个特征的样本，经过one-hot编码后，特征维数变为n，对$x_i,i \in \{ 1,2,\dots ,n\}$，隐向量$v_i \in R^{m \times K}$，最初设想中

$$\sum_{i=1}^{n-1}\sum_{j=i+1}^nv_{ij}x_ix_j \Rightarrow \sum_{i=1}^{n-1}\sum_{j=i+1}^n<v_{i,m_j},v_{j,m_i}>x_ix_j$$
其中$m_j$代表编码后的第$j$维特征在编码前属于的特征维数（所属field）。FFM的二次参数有nmK个，远多于FM模型的nK个。由于隐向量与field相关，FFM二次项不能化简，预测复杂度是$O(Kn^2)$