本文深入探讨FM（Factorization Machine）模型，旨在解决稀疏数据下的特征组合问题。通过矩阵分解，FM能学习特征间的二阶关系，避免因数据稀疏导致的参数无效。文章介绍了FM的目标函数、计算优化以及训练过程，特别指出其在DNN模型中的应用，如FNN和DeepFM中的embedding。此外，还提到了更高级的FFM模型，强调FM在工业级应用中通常关注二阶特征。
FM论文地址：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf
工业界传统的LR，由于简单且可解释被广泛使用，但人工特征工程的繁琐操作也是阻碍模型真正效果的主要原因，各类的特征组合需要大量的人工挖掘实验。鉴于此，基于矩阵分解的FM模型被人熟知，它的目标就是解决在稀疏数据的条件下特征组合的问题。本文将详细分析下FM模型的原理。
首先给出FM的目标函数（这里的模型特指二阶的分解模型）：
可能有读者会有问题，既然目的是为了组合二阶或者高阶的特征，那为什么模型不直接表达成如下的形式：
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
