【推荐系统】Factorization Machine

Factorization Machine（FM）¹是现代推荐系统的基础算法之一。本文介绍FM的模型思想、计算与优化方法。

FM模型

问题

输入：$n$维数据$\mathbf{x}$。
预测：标量$y$

举例

• 回归：$\mathbf{x}$的元素和$y$都为实数
• 二类分类：$\mathbf{x}$的元素为实数，$y$为$\pm 1$
• 排序：$\text{x}=(x^a,x^b)$为有序对，$y$为$\pm 1$

在实际问题中，$\mathbf{x}$往往非常稀疏：$\mathbf{x}$中非零元素个数远远小于$n$。

举例
一个电影推荐系统，系统中有$n_1$个用户，有$n_2$部电影。
系统中的每一条记录包含如下信息：用户编号，时间，电影编号，打分。
想要设计一个系统，预测用户某时刻对某一部电影的评分。

对于每一条记录，按照如下方式将其转化为$(\text{x},y)$对：
|-|内容|维度|说明|
|----|----|----|
|$\text{x}$|1-hot编码的用户编号|$n_1$|用户多，此部分稀疏|
||1-hot编码的电影编号|$n_2$|电影多，此部分稀疏|
||0-1标记用户已经看过的电影，归一化到和为一|$n_2$|大部分用户只看过很少电影，此部分稀疏|
||时间|1||
|y|评分|1||

稀疏数据的挑战

一个预测模型可以有不同的“度”(degree)，度越大，对$\mathbf{x}$元素之间的相互作用考虑的越多。

$d=1$时，是线性模型：
$$y(\text{x})=\sum _{i=1}^n{w}_i{x}_i$$
$d=2$时，考虑元素对之间的关系：
$$y(\text{x})=\sum _{i=1}^n{w}_i^1{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_{ij}^2{x}_i{x}_j$$

注意第二项，下标j的循环从i+1开始。

$d=3$时，考虑三元组之间的关系：
y ( x ) = ∑ i = 1 n w i 1 x i + ∑