CTR经典模型串讲：FM / FFM / 双线性 FFM 相关推导与理解

CTR 系列文章：

1. 广告点击率(CTR)预测经典模型 GBDT + LR 理解与实践（附数据 + 代码）
2. CTR经典模型串讲：FM / FFM / 双线性 FFM 相关推导与理解
3. CTR深度学习模型之 DeepFM 模型解读
4. 【CTR模型】TensorFlow2.0 的 DeepFM 实现与实战(附代码+数据)
5. CTR 模型之 Deep & Cross (DCN) 与 xDeepFM 解读
6. 【CTR模型】TensorFlow2.0 的 DCN(Deep & Cross Network) 实现与实战(附代码+数据)
7. 【CTR模型】TensorFlow2.0 的 xDeepFM 实现与实战(附代码+数据)

FM

在计算广告领域，因子分解机(Factorization Machines，FM)是很经典的模型，面对量大且稀疏的数据，此算法仍然可以取得比较优秀的效果。

假设有下面的数据：

Clicked?	Country	Day	Ad_type
1	USA	26/11/15	Movie
0	China	1/7/14	Game
1	China	19/2/15	Game

其中，Clicked? 是label，Country、Day、Ad_type是特征。由于三种特征都是类别型的，需要经过独热编码（One-Hot Encoding）转换成数值型特征：

Clicked?	Country=USA	Country=China	Day=26/11/15	Day=1/7/14	Day=19/2/15	Ad_type=Movie	Ad_type=Game
1	1	0	1	0	0	1	0
0	0	1	0	1	0	0	1
1	0	1	0	0	1	0	1

经过编码之后，数据变的非常稀疏，在工业界这也是很难避免的一个问题。在这些稀疏的特征中，如果将其中一些特征加以关联，就可能得到与label管理更紧密的特征。例如对于 China 而言，19/2/15（即2015年2月19日）这天是春节，可能存在大量浏览和购买行为，广告点击率自然也会上升。

为了不错过任何有意义的特征组合，我们将所有特征两两组合起来形成新的特征，比较简单直接的实现方法是使用二阶多项式模式进行特征组合。例如将特征 $x_i,x_j$ 的组合可以用 $x_i{x}_j$ 表示，当且仅当$x_i,x_j$都为1时得到的组合特征才有意义。需要注意的是，原本的特征在onehot编码之后已经很稀疏了，再对特征进行两两组合，那么得到的特征就更稀疏了。

在得到特征之后，假设我们用线性模型进行预测，则预测值的表达式可能是这样的：
$$\hat{y}=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _i^n\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j$$
式子中 n 代表特征数量，$w_0,w_i,w_{ij}$ 是模型的参数。其中组合特征参数 $w_{ij}$ 共有$\frac{n(n-1)}{2}$个，需要大量的非零组合特征$x_i{x}_j$才容易学习到合适的参数值。如何解决二次项参数$w_{ij}$的学习问题？

矩阵分解提供了一种解决方法，由于特征组合后的系数可以构成对称矩阵$W_{n\times n}$，因此可以对矩阵进行分解为$W_{n\times n}=V_{n\times k}{V}_{n\times k}^T$，即$w_{i,j}=<v_i,v_j>$，其中$k\ll n$。于是，原本需要训练 $n\times n$ 个特征，现在只需要训练 $n\times k$个：
$$\begin{gathered} \hat{y}=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j \\ <v_i,v_j>=\sum _{f=1}^k{v}_{if}{v}_{jf} \end{gathered}$$
次数计算的时间复杂度为 $O(k{n}^2)$ ，能不能进一步优化一下？注意到${\sum }_{i=1}^n{\sum }_{j=i+1}^n<v_i,v_j>x_i{x}_j$ 实际上只是矩阵 $W_{n\times n}$ 中不包含对角线的上三角的部分，可以用 $W_{n\times n}$ 减去对角线元素后再除以2来得到：
$$\begin{array}{rl}& \sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n<v_i,v_j>x_i{x}_j-\frac{1}{2}\sum _{i=1}^n<v_i,v_i>x_i{x}_i\\ & =\frac{1}{2}\left(\sum _{i=1}^n\sum _{j=1}^n\sum _{f=1}^k{v}_{if}{v}_{jf}{x}_i{x}_j-\sum _{i=1}^n\sum _{f=1}^k{v}_{if}{v}_{if}{x}_i{x}_i\right)\\ & =\frac{1}{2}\left(\sum _{f=1}^k\sum _{i=1}^n{v}_{if}{x}_i\sum _{j=1}^n{v}_{jf}{x}_j-\sum _{i=1}^n\sum _{f=1}^k{v}_{if}{v}_{if}{x}_i{x}_i\right)\\ & =\frac{1}{2}\sum _{f=1}^k\left({\left(\sum _{i=1}^n{v}_{if}{x}_i\right)}^2-\sum _{i=1}^n{v}_{if}^2{x}_i^2\right)\end{array}$$
这样一来，是复杂度就降低为： $O(kn)$

引入二次项的FM模型，可以采用不同的损失函数用于解决回归、二元分类等问题，比如可以采用MSE（Mean Square Error）损失函数来求解回归问题，也可以采用Hinge/Cross-Entropy损失来求解分类问题。

（1）回归问题loss取最小平方误差
$$los{s}^R(\hat{y},y)=(\hat{y}-y{)}^2$$
所以：
$$\frac{\partial los{s}^R(\hat{y},y)}{\partial \theta }=2(\hat{y}-y)\frac{\partial \hat{y}}{\partial \theta }$$

（2）二分类问题loss取logit函数
$$los{s}^C(\hat{y},y)=-\ln \sigma (\hat{y}y)$$
所以：
$$\frac{\partial los{s}^C(\hat{y},y)}{\partial \theta }=[(\sigma (\hat{y}y)-1]y\frac{\partial \hat{y}}{\partial \theta }$$

其中：
$$\frac{\partial }{\partial \theta }\hat{y}(\mathbf{x})=\{\begin{array}{ll}1,& \text{if}\theta \text{is}{w}_0\\ x_i,& \text{if}\theta \text{is}{w}_i\\ x_i{\sum }_{j=1}^n{v}_{j,f}{x}_j-v_{i,f}{x}_i^2,& \text{if}\theta \text{is}{v}_{i,f}\end{array}$$

为了避免过拟合，也引入正则化。所以，FM的最优化问题就变成了：
$${\theta }^{\ast }={\mathrm{argmin}}_{\theta }\sum _{i=1}^N\left(loss(\hat{y}(x_i),y_i)+\sum {\lambda }_{\theta }{\theta }^2\right)$$
注：${\lambda }_{\theta }$是正则化系数。

FFM

在FFM（Field-aware Factorization Machines ）中每一维特征（feature）都归属于一个特定的field。对于进行onehot编码后的类别特征都属于同一个field。对于连续特征，一个特征就对应一个Field。例如：

当然也可以对连续特征离散化，一个分箱成为一个特征。例如：

不论是连续特征还是离散特征，它们都有一个共同点：同一个field下只有一个feature的值不是0，其他feature的值都是0。

FFM模型认为$v_i$不仅跟$x_i$有关系，还跟与$x_i$相乘的$x_j$所属的Field有关系。于是FFM模型的公式如下：
$$\hat{y}=\sum _{i=1}^n\sum _{j=i+1}^n{v}_{i,f_j}\cdot v_{j,f_i}{x}_i{x}_j$$
与FM的公式相比，它只保留了二次项。如何理解这种二次项系数的变化？可以通过下面的图片来理解 FM 与 FFM 在计算二次项系数时的区别：

FM 在计算二次项系数的时候，任意两个特征的组合都需要两个一维的隐含向量(分别对应图中上半部分棕色一维向量 $v_i$ 和蓝色的一维向量 $v_j$ )的内积来表示。

而在FFM中，计算二次项系数的时候，把一维向量扩充了F倍（F表示所有特征对应了F个field，在本例中F取值为3，即field1年龄、field2城市，field3性别），构成“field隐含矩阵”，即图中下半部分棕色的矩阵 $v_{ij}$ 和蓝色的矩阵 $v_{ji}$。当计算 $x_i,x_j$这个二次项的系数时，则需要：

1，从 $v_{ij}$ 中取出 $x_j$ 特征对应的field所在的行向量$v_{i{f}_j}$：

2，从 $v_{ji}$ 中取出 $x_i$ 特征对应的field所在的行向量$v_{j{f}_i}$：

然后将取出的向量计算内积作为$x_i{x}_j$系数。

总的来说，这个过程可以描述为：每个特征对应了一组隐向量，当 $x_i$ 与 $x_j$ 特征进行组合时，$x_i$会从$x_i$那组隐向量中选择出与特征$x_j$的域$f_j$对应的隐向量$v_{i,f_j}$ 进行交叉。同理，$x_j$ 也会选择与 $x_i$ 的域 $f_i$ 对应的隐向量 $v_{j,f_i}$ 进行交叉。

如果隐向量的长度为 k，那么FFM的二次参数有 $nFk$ 个，远多于FM模型的 nk 个。此外，由于隐向量与field相关，FFM二次项并不能够化简，其预测复杂度是 $O(k{n}^2)$。

以上文的第一个表格数据为例：

计算用户1的$\hat{y}$过程为：
$$\begin{array}{rl}\hat{y}& =\sum _{i=1}^n\sum _{j=i+1}^n{v}_{i,f_j}\cdot v_{j,f_i}{x}_i{x}_j\\ & =v_{1,f_2}\cdot v_{2,f_1}{x}_1{x}_2+v_{1,f_2}\cdot v_{3,f_1}{x}_1{x}_3+v_{1,f_2}\cdot v_{4,f_1}{x}_1{x}_4+\cdots \end{array}$$
于是 $\hat{y}$ 对 $v_{1,f2}$ 的偏导为：
$$\frac{\partial \hat{y}}{\partial v_{1,f_2}}=v_{2,f1}{x}_1{x}_2+v_{3,f1}{x}_1{x}_3+v_{4,f1}{x}_1{x}_4$$
注意$x_2,x_3,x_4$是同一个属性的one-hot表示，即$x_2,x_3,x_4$中只有一个为1，其他都为0。在本例中$x_3=x_4=0,x_2=1$，所以：
$$\frac{\partial \hat{y}}{\partial v_{1,f_2}}=v_{2,f_1}{x}_1{x}_2$$
推广到一般情况：
$$\frac{\partial \hat{y}}{\partial v_{i,f_j}}=v_{j,f_i}{x}_i{x}_j$$
实际项目中 x 是非常高维的稀疏向量，求导时只关注那些非0项即可。另外，在执行点击率预测时，会在 $\hat{y}$ 外面再套上一层 sigmoid 函数。接下来，我们用 z 来表示 $\hat{y}$：
$$z=\hat{y}=\sum _{i=1}^n\sum _{j=i+1}^n{v}_{i,f_j}\cdot v_{j,f_i}{x}_i{x}_j$$
用 α 表示对点击率的预测值：
$$a=\sigma (z)=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-\varphi (v,x)}}$$
二分类问题常用的交叉熵损失函数：
$$C=-[ylna+(1-y)ln(1-a)],a=\sigma (z)$$
其中，σ 为 sigmoid 函数，则有：
$$\frac{\partial C}{\partial z}=\frac{\partial C}{\partial a}{\sigma }^{\prime }(z)=-\frac{y}{a}{\sigma }^{\prime }(z)+\frac{1-y}{1-a}{\sigma }^{\prime }(z)=\frac{a-y}{a(1-a)}{\sigma }^{\prime }(z)=a-y$$

进而可以得到：
$$\frac{\partial C}{\partial z}=a-y=\{\begin{array}{cc}-\frac{1}{1+e^z}& ify是正样本\\ \frac{1}{1+e^{-z}}& ify是负样本\end{array}$$
结合上面求出的 $\frac{\partial \hat{y}}{\partial v_{i,f_j}}$ 和 $\frac{\partial C}{\partial z}$，代入下面的公式即可求得梯度值：
$$\frac{\partial C}{\partial v_{i,f_j}}=\frac{\partial C}{\partial z}\frac{\partial z}{\partial v_{i,f_j}}$$
然后就可以使用梯度下降算法对参数进行优化了。

双线性 FFM（Bilinear-FFM）

就像前面提到的，FFM 引入了更多的参数，在提升精度的同时也带来了巨大的计算量。国内的微博团队对FFM加以改进，得到了双线性 FFM（Bilinear-FFM）模型。

由于FFM每个特征都需要维护一个 $n\times F$ 大小的矩阵，如果可以使部分特征共享参数，就能大幅度减少参数，这就是双线性 FFM 的核心思想。如下图所示：

具体的参数共享方法又可以分为下面三种方式：

就结果而言，改进后的 Bi-FFM 与FFM精度差距不大：

但是参数个数少了很多：

这意味着以更少的计算量得到近似于FFM的效果，优化还是很明显的。

参考文章：

从 FFM 到 DeepFFM，推荐排序模型到底哪家强？

深入FFM原理与实践

FM在特征组合中的应用

FFM原理及公式推导

分解机(Factorization Machines)推荐算法原理

FFM算法原理及Bi-FFM算法实现