推荐排序模型1——FM、FFM及python（xlearn）实现

排序模型在工业界已经有了很长时间的历史，从基于策略规则的人工指定特征权值开始，发展到LR线性模型，LR+GBDT半自动特征组合模型，再到FM自动二阶特征组合模型及深度学习模型等不断发展。其中FM系列模型占据比较重要的位置，本篇文章就FM模型进行分析和总结。

FM系列模型2——DeepFM及python（DeepCTR）实现

---

1，概述

在机器学习中，预测是一项基本的任务，所谓预测就是估计一个函数，该函数将一个n维的特征向量x映射到一个目标域T：
D = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( N ) , y ( N ) ) } D =\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(N)},y^{(N)})\} D={ (x(1),y(1)),(x(2),y(2)),...,(x(N),y(N))}

在传统的线性模型中，每个特征都是独立的，如果需要考虑特征与特征之间的相互作用，可能需要人工对特征进行交叉组合。非线性SVM可以对特征进行核变换，但是在特征高度稀疏的情况下，并不能很好的进行学习。由于推荐系统是一个高度系数的数据场景，由此产生了FM系列算法，包括FM，FFM，DeepFM等算法。

推荐系统中还有一个比较重要的因素就是速度，比如容易并行，可解释、可拓展，这就是LR在工业界比较流行的原因之一。我们先回顾下线性模型和逻辑回归模型。

线性回归

$$\begin{array}{rl}\hat{y}(x)=& w_0+w_1{x}_1+w_2{x}_2+...+w_n{x}_n\\ =& w_0+\sum _{j=1}^n{w}_i{x}_i\end{array}$$

逻辑回归
核心函数：
$$h_{\theta }(x)=\frac{1}{1+e^{-\theta x}}$$
对于一个样本：

$$\begin{array}{rl}P(y=1|x,\theta )=& h_{\theta }(x)\\ P(y=0|x,\theta )=& 1-h_{\theta }(x)\end{array}$$
那么进一步，样本x的概率表示为：
$$P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }$$