推荐系统FM系列文章（三）-- NFM模型

最新推荐文章于 2023-09-07 22:51:23 发布

原创

最新推荐文章于 2023-09-07 22:51:23 发布 · 841 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习 #机器学习 #算法

本文介绍了将FM模型思想结合神经网络的NFM模型，对比了其与FM及DeepFM模型的不同与优化点。NFM分为线性和神经网络两部分，重点介绍了神经网络部分的bi - interaction pooling layer，它实现特征交叉，减少训练参数，虽可能有信息损失，但在推荐算法发展中有代表性。

0. 写在前面

继上次介绍了DeepFM模型后，本文我们介绍将FM模型思想结合神经网络的又一工作 – NFM（Neural Factorization Machine），一起来看看NFM相比于FM模型及DeepFM模型有哪些不同之处以及优化点。

个人心得：

bi-interaction pooling layer，一种element-wise product的特征交叉层

论文地址：

https://arxiv.org/pdf/1708.05027.pdf

1. 背景

DeepFM将神经网络成功引入了FM模型当中，并取得了较为理想的效果。此外，推荐领域研究学者也提出了NFM模型，同样是将特征显式交叉的思想引入神经网络，与DeepFM相似，NFM模型的结构依然遵循类似的two-part结构，包括shallow-part（浅层）以及dnn-part（深层）。下面详细介绍NFM中的dnn-part。

2. 模型架构

NFM模型架构如图所示。上面说到，NFM分为两部分，分别为线性部分及神经网络部分。线性部分具备样本记忆的能力，神经网络部分负责复杂的特征抽取、特征交叉等工作，具体样本泛化能力。我们重点来看dnn这一部分。

NFM神经网络部分对输入样本的处理方式完全一致，类别特征onehot后进行embedding，连续特征直接embedding，两类特征的embedding维度保持一致，等价于FM模型二阶特征交叉项中隐向量的维度。每个特征field的embedding向量经过一层bi-interaction pooling layer后，输出与embedding向量维度一致的新向量，最后送入全连接层。由此可见，除了刚刚提到的bi-interaction pooling