FM与SVM、LR、FFM区别

原创 于 2021-05-18 16:25:55 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文对比了FM模型与SVM、LR、FFM的区别。FM模型在特征组合权重计算上不同于SVM的独立参数，且能进行原始形式优化，预测与训练样本独立。与LR相比，FM学习特征隐向量，允许未出现的特征组合预测。而在与FFM的比较中，FFM按field划分特征，影响特征组合的隐向量内积。

写在前面的话
关于FM的理解，重点参考论文原文《Factorization Machines》和张俊林老师的知乎专栏推荐系统召回四模型之：全能的FM模型

FM vs SVM

首先说明，FM和SVM最大的不同，在于特征组合时权重的计算方法

  • SVM的二元特征交叉参数是独立的，而FM的二元特征交叉参数是两个k维的向量 v i v_i vi​、 v j v_j v
最低0.47元/天 解锁文章
FTRL之FM和LR实战（使用稀疏数据进行实战）
永远飞翔的鸟
03-06 1270
目录 一、FTRL之FM实战 1.建模并进行训练 2、 修改正则参数重新进行训练 二、FTRL之LR实战 1.建模，并进行训练 2.修改参数，重新进行训练 一、FTRL之FM实战 代码参考： https://github.com/comadan/FM_FTRL https://www.kaggle.com/c/avazu-ctr-prediction/discussi...
推荐系统（一）LR，FM，FFM，Deep&Wise，DeepFM，ESMM
qq_35319215的博客
07-20 1779
一、LR （一）简单总结 是广义线性模型，每个特征都是独立的，如果需要考虑特征与特征之间的相互作用，需要人工对特征进行交叉组合。 非线性SVM可以对特征进行核变换，但是在特征高度稀疏的情况下，并不能很好的进行学习。 （二）FTRL 二、FM Rendle S. Factorization Machines[C]// IEEE Internati...
FM详解
算法岗从零到无穷
12-16 1162
1. 基本概念 常见的线性表达式如下： y=ω0+∑i=1nωixiy=\omega_0 + \sum^{n}_{i=1}\omega_ix_iy=ω0​+i=1∑n​ωi​xi​ 其中ω0\omega_0ω0​为初始权值，或者理解为偏置项，ωi\omega_iωi​为每个特征xix_ixi​对应的权值。可以看到，这种线性表达式只描述了每个特征与输出的关系。FM的表达式如下，可观察到，只是在线性表达式后面加入了新的交叉项特征及对应的权值。 y=ω0+∑i=1nωixi+∑i=1n−1∑j=i+1nωijxi
广告点击率常用模型的优点和缺点
hellozhxy的博客
10-26 2304
  LR 优点： 1. 是一个很好的baseline，效果不错，当然因为效果不错，所以后续的版本想超过它，真的还是很难的。 2. 实现简单，有开源的工具可以直接用来训练，在线的代码也写起来也比较容易   缺点： 1. 因为是线性模型，所以有选择交叉特征的工作，这部分工作消耗大量的精力，但往往没什么效果。一般都是wrapper方法选择，每轮可能都要进行小时级的运算，理论上要进行2^n轮...
FFM原理与 LR
zww275250的博客
11-14 1783
FM（Factorization Machine） 因式分解机 应用范围 解决稀疏数据下的特征组合问题 问题原因 ：经过One-Hot编码之后，样本的维度大幅增加，大部分样本数据特征是比较稀疏的。 通过观察大量的样本数据可以发现，某些特征经过关联之后，与label之间的相关性就会提高。那么如何进行特征组合就是问题的关键。 多项式模型是包含特征组合的最直观的模型。 对于二阶多项式模型，两个特
LR/GBDT/SVM/FM等若干问
u011089927的专栏
07-18 901
在工作确实使用过lr/gbdt，但是特征都是连续型，就达到效果了，其实没有太多的做特征加工，反而更多的在特征提取上(将行为或者异常点抽象成数学表达，这一点也很难，但是面试时候又太依赖于业务背景，很多时候面试官根本没有耐心听你说，所以要尽量去覆盖他们的认知范围，那么最直接的方法就是模型中的共性问题了，普遍问题你都没有思考过，说不过去。。)。来吧，从头开始！ 1.lr,gbdt，libfm三种模型分别适合处理什么类型特征？知乎回答链接 当时想搜一下在高维稀疏特征时，lr为什么比gbdt好，搜到了知乎上这..
FM系列算法解读（FM+FFM+DeepFM）
热门推荐
数据喵的博客
08-03 7万+
https://blog.youkuaiyun.com/jiangjiang_jian/article/details/80631180
CTR的模型：FM、FFM和DeepFM的理解
zhuhongde的博客
07-11 5014
参考文献 1.FM系列算法解读（FM+FFM+DeepFM） 2.深入FM和FFM原理与实践 3.CTR学习笔记系列—— FM 和 FFM 4.FM算法及FFM算法 5.『我爱机器学习』FM、FFM与DeepFM 6.CTR预估算法之FM, FFM, DeepFM及实践 前言 在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。这里我们来介...
个人总结：推荐算法 从MF(LFM) 到 FM FFM Wide&Deep DeepFM
yyhhlancelot的博客
08-12 6594
FM 在推荐系统中，经常会碰到电影评分这样高度稀疏的数据，在之前的个人总结：推荐算法篇（附协同过滤等） 综述的基于模型的协同过滤中，提到了FunkSVD(LFM，Latent Factor Model)，通过设置隐含特征，进行矩阵分解，来实现对未知评分的预测。这里FM，和LFM一样，也是隐变量模型。 问题背景 传统逻辑回归认为特征直接是相互独立的，但是很多情况下特征之间的依赖关系不可忽视，因...
SVM
fm904813255的博客
07-23 272
  # -- coding: utf-8 -- from numpy import* from svmMLIA import* import matplotlib.pyplot as plt path = r'E:\file\python\test\test\SVM_data\testSet.txt' dataArr, labelArr = loadDataSet(path) test...
Python-基于爬取的电影评分数据集构建以FM和LR为核心的电影推荐系统
08-11
[电影推荐系统] Based on the movie scoring data set, the movie recommendation system is built with FM and LR as the core(基于爬取的电影评分数据集，构建以FM和LR为核心的电影推荐系统).
LR、Poly2、FM、FFM
dili8870的博客
03-27 1336
1. LR LR的linear Margin： 假设特征之间是相互独立的，忽略了feature pair等高阶信息；在LR中，特征组合等高阶信息是通过特征工程在特征侧引入的，那么有哪些模型不需要通过特征工程自动学习高阶信息呢？ 2.Degree-2 Polynomial Margin (Poly2) 在LR基础上，加入任意两个特征之间的关系： 其中，$w_{...
推荐系统fmlr_推荐系统融合排序之 LR
weixin_28935113的博客
12-23 579
首先，我们先 了解 一下推荐系统的两个最主要部分：recall(召回)和rank(排序)，一般最后还有rerank(根据业务场景和策略规则进行重排序，比如置顶、过滤等)。之 前的一篇文章主要介绍了召回流程 - 58部落帖子推荐系统的抬手动作 ，介绍如何通过不同的策略从海量数据中召回用户感兴趣的帖子作为推荐候选集，但由于不同的策略的评分标准、计算维度等不一致，无法直接推给用户，需要从中各拿出一部分做...
推荐系统----协同过滤，矩阵分解，逻辑回归，FM,FMM,GBDT+LR,LS-PLM之间的优缺点
data_curd的博客
02-01 1149
协同过滤： 源于1992年直到2003年才被Amazon发表论文使用了 基本原理： 根据用户的行为历史生成用户-物品共现矩阵，利用用户相似性和物品相似性进行推荐 特点： 原理简单，直接，应用广泛 局限性： 泛化能力差，处理稀疏矩阵的能力差，推荐结果的头部效应较为明显 矩阵分解： 源于2006年Netflix举办推荐算法竞赛使推出的 基本原理： 将协同过滤算法中的共现矩阵分解为用户矩阵和物品矩阵，利用用户因向量和物品因向量的内积进行排序并推荐 特点： 相较协同过滤，泛化能力有所加强，对稀疏矩
推荐算法---FM,协同过滤
wangzi11111111的博客
03-31 2273
文章目录目录1.FM算法产生背景2.FM算法模型3.FM算法VS其他算法4.推荐算法总结 目录 1.FM算法产生背景 在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习；现在也有很多分解模型Factorization model如矩阵分解MF...
SVM详解
weixin_39568744的博客
10-28 191
转载自：https://blog.youkuaiyun.com/b285795298/article/details/81977271
面试遗漏知识点
Yasin的博客
05-04 2050
1. 机器学习算法理论：LR、SVM、树模型、FM/FFM、EM、LDA、word2vec、推荐算法等等，都会被问到，需要懂得算法的推导、适用场景、使用的Trick、分布式实现。 7.海量数据处理：经常问的就是海量数据排序，推荐博客：http://blog.youkuaiyun.com/v_july_v/article/details/6279498/，弄懂这块就基本没问题。 推荐相关 你了解的...
【推荐算法】FM模型：Factorization Machines
长相忆兮长相忆的专栏
05-17 5554
FM算法是一种基于矩阵分解的机器学习算法，是为了解决大规模稀疏数据中的特征组合问题。 在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征之间的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习；现在也有很多分解模型Factorization Model如矩阵分解MF、SVD++等，这些模型可以学习到特征之间的交互隐藏关系，但基本上每个模型都只适用于特定的输入和场景。 为此，FM出现了。
推荐系统FM理论
qq_39091546的博客
09-15 428
FM算法是进行特征组合时的常见算法。 1. FM要解决的问题 FM主要是为了解决数据稀疏的情况下，特征组合问题。 one-hot编码存在的两个问题：1.样本数据会变得很稀疏，2.特征空间变大 普通的线性模型，各个特征都是独立考虑的，没有考虑到特征之间的相关性，如果能找出有关联的特征，会有很大的帮助。一般的线性模型为: 在实践经验中，对特征进行交叉组合往往能够更好地提升模型效果。 2. FM定义 M以特征组合进行切入点，在公式定义中引入特征交叉项，弥补了一般线性模型未考虑特征间关系的缺憾。公式如下（FM模型
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值