2021-WWW-FM^2 : Field-matrixed Factorization Machines for Recommender Systems

𝐹𝑀2 : Field-matrixed Factorization Machines for Recommender Systems
来自于 2021-WWW Yahoo团队

CTR预估问题中使用到多域分类数据。本文提出了Field-matrixed Factorization Machines（FmFM或者 $F{M}^2$），它是对FwFM的直接提升。模型支持不同域有不同的嵌入维度，并且在保证模型表现的条件下减少嵌入维度。

（个人感觉就是本文的核心就是那个域交互矩阵，和投影矩阵，transD，transR这种差不多。相当于FM是把所有域的嵌入嵌入到了同一个向量空间中，必须维度一致；而FmFM是把每个域的嵌入嵌入到了各自的向量空间中，然后衡量两两域特征的交互作用时，使用域交互矩阵将两个嵌入嵌入到相同的空间中再内积）

另外个人认为这篇文章一是对浅层CTR模型进行一个梳理；二是提出一些裁剪维度、缓存低维度等优化方法。

1 INTRODUCTION

CTR中的数据是多域分类数据，两种特点：

• 所有的特征是分类型（离散型）特征，所以很稀疏（id），特征数量可达到数亿级
• 每个特征只属于一个域field，域的数量可达到数百级

一些研究：

• LR+交叉特征项
• 考虑所有二阶交叉特征时->poly2
• 交叉项参数太多，FM使用两个嵌入的点击代替交叉项系数
• FFM考虑不同域交互时的嵌入不同
• FwFM使用更高效的参数

这些考虑域信息的模型要么参数太多，要么不是太高效。

2 RELATED WORKS OVERVIEW

LR

PoLy2

FM

FFM

FwFM

3 OUR MODEL

本文提出一个新模型，用矩阵来表示两两field的交互。$M_{F(i),F(j)}$ 表示两个域 $F(i),F(j)$ 间的交互矩阵，维度是 $K$