通俗的理解矩阵分解的意义

手机查看图片不知道为什么不能显示,请在电脑上查看。

我们日常 喝的饮料 和 吃的药片  都是由一些 基本元素 调和而成的

比如:



我们列出以下公式 B:
可乐
=0.07* 能量+ 0*蛋白质+0*脂肪+0.12* 碳水化合物 +0.02* 钠
雪碧=0.02* 能量+ 0*蛋白质+0*脂肪+0.04* 碳水化合物 +0.01* 钠
芬达=0.02* 能量+ 0*蛋白质+0*脂肪+0.04* 碳水化合物 +0.01* 钠
   
    如果 把可乐和 雪碧,芬达 看成3种 高级成分
      
    我们就可以立刻发明多种新的饮料:比如  可雪,乐碧
    
    这两种饮料的配料成分明细如下 公式A:
    可雪=0.7 *可乐+0.3* 雪碧+0*芬达
    乐碧=0.4 *可乐+0.6* 雪碧+0*芬达
 
    我们可以这样理解:
    现实中的 物品(可雪,乐碧) 都有 一组高级成分(可乐,雪碧,芬达)组成,
    而这些高级成分又可以分级为 次级成分(能量,蛋白质,脂肪, 碳水化合物, 钠)

    如果 我们想知道  可雪 的具体成分含量(能量,蛋白质,脂肪, 碳水化合物, 钠), 只需要将 A和B 进行矩阵乘法即可
    结果应该是 2行 5列的矩阵C,C 表示了可雪 和 乐碧 的具体成分含量
    计算过程如下:




假设现在 我们知道矩阵C  现在想把矩阵C 分解成矩阵A 和 B
这样的话 我们把 A 叫做 高阶特征权重矩阵,即 (可雪,乐碧)  由 高阶特征(可乐,雪碧,芬达)线性组合而成 ,
B 叫低阶特征权重矩阵 (可乐,雪碧,芬达) 由 (能量,蛋白质,脂肪, 碳水化合物, 钠)线性组合而成


如果换成自然语言处理原理同上(例子有点不太适合,理解意思即可):



在自然语言处理和推荐系统中 我们一般能够直接得到矩阵 C ,C 是非常稀疏的,我们想把C 分解成 高阶特征的线性组合,这样便于分类和预测
这就是为什么要将大矩阵进行分解。
常见的分解方式 有PCA,SVD ,NMF矩阵分解。


参考文章:《数学之美 第二版》 第15章  矩阵运算和文本处理中的两个分类问题
                《集体智慧编程》    第10章  寻找独立特征_NMF
                 《线性代数及其应用》

<think>好的,用户想要了解FM算法,也就是因子分解机,我得先回忆一下它的基本概念应用场景。FM算法在推荐系统CTR预估中很常见,对吧?用户可能已经听说过协同过滤或者逻辑回归这些传统方法,现在想了解FM的优势在哪里。 首先,我需要解释FM解决的问题。传统的线性模型,比如逻辑回归,只能学习各个特征的权重,无法捕捉特征之间的交互作用。而现实中的数据,特征之间的组合往往很重要,比如用户年龄商品类别的组合。这时候,二阶特征组合就变得必要了,但直接用线性模型处理会导致参数过多,特别是在特征维度高的情况下,计算量过拟合问题都会很严重。 接下来,我得说明FM是怎么解决这个问题的。FM通过引入隐向量的概念,将每个特征映射到一个低维的向量,然后用这些向量的内积来表示特征交互的权重。这样参数数量就从O(n²)降到了O(kn),k是隐向量的维度,通常远小于n。这样不仅减少了计算量,还能在数据稀疏的情况下更好地泛化,因为隐向量可以学习到特征之间的潜在关系。 然后需要比较一下FM其他方法的区别。比如,矩阵分解的关系,FM其实可以看作是矩阵分解的扩展,加入了更多特征。还有SVM的对比,尤其是多项式核SVM,但FM的参数更少,计算效率更高,尤其是在处理稀疏数据时。 应用场景方面,推荐系统是FM的主要战场,用户可能对CTR预估比较熟悉,这里可以举例子说明,比如用户点击率预测中,用户的特征物品的特征组合起来,FM能有效捕捉这些交互。另外,在广告推荐或者电商推荐中,用户的历史行为物品属性结合,FM都能发挥优势。 可能用户还会关心FM的数学公式,这里需要简单描述一下。FM的模型方程包括线性部分特征交互部分。线性部分就是各个特征的权重相加,而特征交互部分则是所有特征两两组合的内积之。不过这里要注意,用户可能不需要太复杂的公式推导,重点在于直观理解。 最后,总结一下FM的优势:处理高维稀疏数据、自动学习特征交互、计算高效。这些点需要简明扼要地提出来,帮助用户快速抓住重点。可能还需要提到FM的变体,比如FFM(场感知因子分解机),但根据用户的问题,可能暂时不需要深入
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值