FM(因子分解机) 极简介绍

最新推荐文章于 2023-03-19 11:55:25 发布
最新推荐文章于 2023-03-19 11:55:25 发布
阅读量127 收藏
点赞数
文章标签： 深度学习 机器学习 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40200988/article/details/120758139
版权
本文探讨了如何通过融合(FM)技术增强线性回归(Linear Regression)的非线性特征组合，特别是在数据稀疏场景中，Vi和Vj作为隐向量的使用，以减少计算负担。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

FM主要用于特征的交叉组合,左边由线性LR组成,右边非线性的特征组合

 传统LR的拟合能力较差,所以需要非线性的组合特征那么右侧引入的Vi和Vj就是特征的隐向量(实际上这里已经属于embedding的范畴了),在数据稀疏的场景下,可以极大减少计算量

SimilarMoer
关注
大语言模型应用指南：机器学习的过程
AI天才研究院
06-27 588
在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。
关于推荐系统的全面调研与探讨！千万别错过！
Marcus-Bao的个人主页
02-25 424
简单定义来说：推荐系统是一个信息过滤系统，根据用户的历史行为，社交关系，兴趣点，来判断用户当前感兴趣的物品和内容。 其根据不同的目标定义，也会导致不同的推荐结果，从measure上来考虑，包括用户满意度，预测准确度，覆盖率，多样性，新颖性，精细度，实时性，内容时效性，内容质量，商业目标等等。 1. 常用评测指标 用户满意度：用户是推荐系统中非常重要的参与者,他们的满意度也直接决定了推荐系统的好坏.但是用户满意度这个指标无法离线计算,只能通过用户调查或者在线实验获得，一般都是线上行为统计，包括购买率（CV
因子分解机 FM
浮汐潇潇
03-30 433
目录背景FM因子分解机FM模型的核心作用可以概括为三个与其他模型对比FFM（场感知分解机,Field-aware Factorization Machine）背景DeepFMFM/FFM与其它模型对比 背景 在人工方式的特征工程，通常有两个问题： 1、特征爆炸 2、大量重要的特征组合都隐藏在数据中，无法被专家识别和设计 针对上述两个问题，广度模型和深度模型提供了不同的解决思路。 1、广度模型包括FM/FFM等大规模低秩(Low-Rank)模型，FM/FFM通过对特征的低秩展开，为每个特征构建隐式向量，并通过
因子分解机FM
李问渔
03-28 826
因子分解机 因子分解机（Factorization Machine，FM），又称分解机，是由Steffen Rendle最早于2010年在论文ICDM：Factorization Machines中提出，旨在解决大规模稀疏数据下的特征组合问题。传统机器学习方法，假设各特征之间相互独立，没有考虑特征间存在相互作用的情况，主要关注如何对特征赋予权重的问题。 FM 研究背景 在实际应用中，Categor...
FM因子分解机
JinbaoSite
12-29 525
FM因子分解机算法可以自动组合二阶特征
AI上推荐 之 逻辑回归模型与GBDT+LR(特征工程模型化的开端)
Miracle8070
09-10 7704
1. 前言 随着信息技术和互联网的发展， 我们已经步入了一个信息过载的时代，这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战： 信息消费者：如何从大量的信息中找到自己感兴趣的信息？ 信息生产者：如何让自己生产的信息脱颖而出， 受到广大用户的关注？ 为了解决这个矛盾， 推荐系统应时而生， 并飞速前进，在用户和信息之间架起了一道桥梁，一方面帮助用户发现对自己有价值的信息， 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛， 从前深度学习的传统推荐模型(协
fm因子分解机
10-24
fm因子分解机, 挺好的东西。你认为好的话，下载一个，我缺分。
FM算法：因子分解机
笔记小屋
07-16 300
前言 在一些特征极度稀疏的情况下，甚至是one-hot编码下，也很难对整个模型起到作用，但如果组合分析，可能会对拟合数据起到作用，但是如何特征组合？组合的依据是什么？本文就来讲解这些。 场景 在电影的推荐场景中，用户的维度特别大，电影的维度也非常大，例如下图： 特征中： 前四列表示用户u（one-hot编码，稀疏） 五列表示电影i（ont-hot编码，稀疏） 五列表示用户u对电影i的打分（归一...
【推荐算法系列一】FM因子分解机模型
RessCris的博客
05-04 1148
文章目录算法简述数学公式因子分解机模型二项交互的推导，使复杂度降低到 线性进一步转换为矩阵形式输入数据稀疏适用代码实现 原论文地址：FM 参考代码：推荐算法(一)——FM因式分解(原理+代码) 算法简述 相比于一般的线性模型，FM模型将交叉特征的影响考虑在内。 也适用于处理输入数据稀疏的情况。 数学公式 因子分解机模型 二项交互的推导，使复杂度降低到 线性 进一步转换为矩阵形式 ym×1=W0m×1+Xm×nW1n×1+12(∑((Xm×nVn×k−Xm×n2Vn×k2)m×k))m×1y_{m\tim
推荐系统之FM因子分解机（记录复现和实验中的收获）
m0_64533860的博客
03-19 398
本篇文章是我在复现推荐系统中的FM因子分解机模型时的收获总结。
机器学习算法（二）：因子分解机FM算法（Factorization Machine）
weixin_39910711的博客
08-17 7455
目录 1 背景 2 FM原理 1 背景 Steffen Rendle于2010年提出Factorization Machines（下面简称FM），并发布开源工具libFM。FM的提出主要对比对象是SVM，与SVM相比，有如下几个优势 （1）对于输入数据是非常稀疏（比如自动推荐系统），FM可以，而SVM会效果很差，因为训出的SVM模型会面临较高的bias。 （2）FMs拥有线性的复...
FM算法详解（因子分解机）
GFDGFHSDS的博客
03-10 7934
1. 什么是FM？ FM即Factor Machine，因子分解机。 任意的 N×N 实对称矩阵都有 N 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成： 其中，Q为正交矩阵，Λ为实对角矩阵。 2. 为什么需要FM？ 1、特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接建模，很有可能会忽略掉特征与特征之间的关联信息，...
6、因子分解机FM介绍
weixin_45063703的博客
03-07 1830
前言 在进行CTR(click through rate)预估时，除了单个特征外，通常要进行特征组合，FM算法是进行特征组合时的常见算法。 因子分解机（Factorization Machine），是由Konstanz大学（德国康斯坦茨大学）Steffen Rendle（现任职于Google）于2010年最早提出的一种基于矩阵分解的机器学习算法，旨在解决大规模稀疏数据下的特征组合问题。 1、 FM 简介 1.1 特征工程 为什么要考虑特征之间的关联信息？ 大量的研究和实际数据分析结果表明： 某些特征之
因子分解机 FM 算法及实践
IMWTJ123的博客
02-26 1426
 一、 因子分解机 FM 算法的提出  在 Logistic Regression 只能处理线性可分的二分类问题，但在现实中大多数是非线性问题，为了能使 Logistic Regression 算法能处理非线性，我们需要对算法进行升级，有两种方法： （一）、利用人工对特征处理，如使用核函数对特征进行处理，但人工处理对初学者比较难。 （二）、对 Logistic Regression 算法进行...
因子分解机
qq_24569101的博客
12-06 898
FM(Factorization Machine)模型描述在点击率预估等任务中，10维的类别型特征做onehot编码后变成1000维特征，绝大多数特征取值为0，即特征稀疏。然后，某些稀疏特征经过关联得到的关联特征，例如“化妆品”类商品和“女”性，与label之间的相关性会提高。
因子分解机（Factorization Machines）
sherwinzhang的博客
11-08 1645
因子分解机（Factorization Machines） 在推荐系统中，CTR（click-through rate）预估是非常重要的环节，其主要是用于判断一个商品是否被用于推荐。谈到CTR预估，有一个算法不得不提一下，LR（logistic regression）逻辑回归。 在推荐系统发展的历史长河中，LR绝对有浓墨重彩的一笔。比如在2020年和微博做算法的同学交流，对方称他们依旧在推荐中使用LR，当然这离不开其非常容易实现大规模实时并行处理的优势。 我们知道LR模型其实是一种线性的学习模型，所以它并
简单易学的机器学习算法——因子分解机(Factorization Machine)
热门推荐
null的专栏
05-06 6万+
一、因子分解机FM的模型 因子分解机(Factorization Machine, FM)是由Steffen Rendle提出的一种基于矩阵分解的机器学习算法。1、因子分解机FM的优势 对于因子分解机FM来说，最大的特点是对于稀疏的数据具有很好的学习能力。现实中稀疏的数据很多，例如作者所举的推荐系统的例子便是一个很直观的具有稀疏特点的例子。2、因子分解机FM的模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值