NMF的应用-读Daniel D.Lee nature上的论文总结-Learning the parts of objects by non-negative matrix factorization

最新推荐文章于 2021-09-10 09:07:54 发布
原创 最新推荐文章于 2021-09-10 09:07:54 发布 · 4.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#matrix #variables #constraints #encoding #semantic #文档

本文探讨了非负矩阵分解（NMF）在学习对象部分和文本语义分析中的作用。通过非负约束，NMF能够实现基于部件的表示，并用于提取文档的语义特征。在面部识别和文档理解的实验中，NMF自动聚集描述相似概念的词汇。然而，NMF并不适用于所有复杂模型的学习，可能需要多级的隐藏变量。尽管非负限制有助于部分表示，但NMF无法捕获部分之间的句法关系，且假设的隐藏变量统计独立性并未得到保证。

 

Learning the parts of objects by non-negative matrix factorization

 

 

 

由于NMF使用非负矩阵来分解原有矩阵（V=WH），因此，在分解时，只会进行“加”操作数据，不会进行减操作，因此在进行因式分解时。W可以当做提取出来的各个相关度不大的特征，也就是其中所说的Basis images和whole faces，而H可以表示编码encoding。

 

正是因为矩阵为非负的，因此它能够实现parts-based representation。

 

编码（encoding）（H）表示一张脸（图片）（V），可以表示成Basis images（W）的线性组合。

 

W为n*r的，H为r*m的，V为n*m的。

其中r的取值应符合(n+m)<nm。

 

NMF用于文本语义分析(semantic analysis of text documents)：

 

文档集合用矩阵V表示，Viu表示第 u 个文档，词 i 出现的次数。

 

使用NMF获得W矩阵和F矩阵。

 

在试验中，使用m=30,991个文档和n=15,276个词，生成Vnm

最低0.47元/天 解锁文章
文献学习(part72)--Learning the parts of objects by non-negative matrix factorization
小山羊的学习日志
05-15 836
学习笔记，仅供参考，有错必纠 文章目录Learning the parts of objects by non-negative matrix factorization摘要正文 Learning the parts of objects by non-negative matrix factorization 摘要 对整体的感知是基于对其部分的感知吗?有心理学和生理学的证据表明，在大脑中存在基于部分的表征，某些物体识别的计算理论也依赖于这种表征. 但我们对大脑或计算机如何学习物体的各个部分知之甚少
NMF非负矩阵分解
m0_37544963的博客
03-23 1176
参考文献：Lee D D , Seung H S . Learning the Parts of Objects by Non-Negative Matrix Factorization[J]. Nature, 1999, 401(6755):788-791. 这篇文章是NMF首先被提出的文章，1999年发表于《Nature》。 NMF即非负矩阵分解，是一种（非线性）降维的方法，常用于文本和图像的...
《Learning the parts of objects by nonnegative matrix factorization》
10-27
【简介】一篇关于nonnegative matrix factorization（非负矩阵分解）的应用文章。 【语言】英文
（学习笔记） 非负矩阵分解 NMF
weixin_43236925的博客
11-20 1204
转载自: 知乎 1. 公式 非负矩阵分解 即将一个非负的大矩阵（V）分解成两个小的非负矩阵（W和H）。 WH≈V WH≈V WH≈V Vn*m ,Wn*k ,Hk*m 矩阵 ，其中(n+m)r &lt;&lt;nm。 可以参考: Learning the parts of objects by non-negative matrix factorization Daniel D. Lee* &am...
非负矩阵分解算法——Daniel D.Lee and H.Sebastian Seung论文翻译
zlp_zky的博客
10-31 4343
非负矩阵分解算法 摘要 非负矩阵分解(NMF)已被证明是一个有用的多元数据分解。分析了NMF的两种乘法算法，它们的不同之处仅在于更新规则中使用的乘法因子略有不同，一种算法可以最小化传统的最小二乘误差而另一种可以最小化广义Kullback Leibler散度。两种算法的单调收敛性可以使用类似于证明最大期望算法的收敛性的辅助工具去证明。该算法也可以被解释为对角调整梯度下降，其中缩放因子是最佳的选择
NMF方法及实例
微信号：RunsenLiu
05-27 2433
来源：https://www.icourse163.org/course/BIT-1001872001 非负矩阵分解（NMF） 非负矩阵分解（Non-negative Matrix Factorization ，NMF） 是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。 基本思想：给定一个非负矩阵V，NMF能够找到一个非负矩阵W和一个 非负矩阵H，使得矩阵W和H的乘积近似等于矩阵V中的值。...
Learning the parts of object by NMF
Rachel Zhang的专栏
02-12 1万+
本文为Letters to nature上文章Learning the parts of objects by non-negativematrix factorization的读书笔记，针对如何基于NMF在神经网络中学习一个object的各层part做出理论上的分析，并在人脸part学习和text语义特征学习上做了相应实验。本文不含如何去解NMF，只给出非负约束下矩阵分解的结果。 Learnin
matrix-factorization-in-python-master.zip_nmf_orangecbm_question
09-20
标题中的"matrix-factorization-in-python-master.zip_nmf_orangecbm_question"暗示了这是一个关于Python中矩阵分解（Matrix Factorization）的项目，特别是涉及到非负矩阵分解（Non-negative Matrix Factorization,...
基于matlab实现的非负矩阵分解(non-negative matrix factorization,NMF)算法.rar
05-05
非负矩阵分解（Non-negative Matrix Factorization，NMF）是一种广泛应用的数据分析方法，它在机器学习、信号处理、图像分析、文本挖掘等多个领域都有显著作用。MATLAB是一种强大的编程环境，特别适合进行矩阵运算和...
ONMF正交非负矩阵分解·论文总结
Yanir的博客
09-10 2845
前言 非负矩阵分解（Nonnegative matrix factorization,NMF）目前有着广泛的应用：环境、模式识别、多媒体、文本挖掘、DNA基因表达以及分类/聚类。NMF的研究追溯到1970sG. Golub的初步探索到Paatero[1]的广泛研究。Lee and Seung[2,3]在机器学习和数据挖掘领域对NMF的研究工作带来广泛的关注。他们揭示NMF因子（即F和G）与源数据有着部分相干性。他们强调了NMF和矢量量化VQ（本质是K-Means聚类）的区别。 NMF与...
非负矩阵分解(NMF)论文笔记（2）
Bear_Kai的专栏
07-05 2158
记NMF经典论文：Learning the Parts of Objects by Non-negative Matrix Factorization, Nature 1999. 对整体的感知是否基于对局部的感知？在心理和生理学上有研究表明，人脑中存在基于局部的表达机制，目标识别中的一些计算理论也依赖于这种假设，但是我们并不清楚人脑或者计算机到底是如何来学习这样一种局部表达的。这篇文章介绍的
Learning the parts of objects by non-negative matrix factorization (Letters to Nature)
weixin_33889245的博客
05-27 536
Daniel D. Lee*& H. Sebastian Seung*†*Bell Laboratories, Lucent Technologies, Murray Hill, New Jersey 07974, USA†Department of Brain and Cognitive Sciences, Massachusetts Institute ofTechnology, Ca...
非负矩阵分解NMF(应用、原理及基于python的实例)
Enjoy_endless
10-20 9238
主要基于论文：Algorithms for Non-negative.Daniel D. Lee and H. Sebastian Seung. NIPS 2000. 矩阵的应用： 科学研究中的很多大规模数据的分析方法都是通过矩阵形式进行有效处理的(图像/文本/音频)，为高效处理这些通过矩阵存放的数据，一个关键的必要步骤便是对矩阵进行分解操作。通过矩阵分解，一方面将描述问题的矩阵的维数进行削减，另...
非负矩阵分解NMF
热门推荐
皮皮blog
08-03 8万+
http://blog.csdn.net/pipisorry/article/details/52098864非负矩阵分解(NMF,Non-negative matrix factorization)NMF的发展及原理　　著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想——非负矩阵分解(Non
Learning the parts of objects bynon-negative matrix factorization阅读笔记
11-09 1436
文章中将PCA（主成分分析）、VQ（矢量量化）、NMF（非负矩阵分解）三种方法对一张脸的图片的分解进行了对比
NMF 非负矩阵分解 -- 原理与应用
qq_26225295的博客
04-21 5万+
1.原理发现写关于非负矩阵的博文还是蛮多的，还是以自己的角度总结一下自己的最近看的若干东西以及对非负矩阵分解有用的一些资料链接。NMF，全称为non-negative matrix factorization，中文呢为“非负矩阵分解”。NMF的思想：V=WH（W权重矩阵、H特征矩阵、V原矩阵），通过计算从原矩阵提取权重和特征两个不同的矩阵出来。属于一个无监督学习的算法。
scikit-learn：通过Non-negative matrix factorization (NMF or NNMF)实现LSA（隐含语义分析）
mmc2015的专栏
08-20 3110
之前写过两篇文章，分别是 1）矩阵分解的综述：scikit-learn：2.5.矩阵因子分解问题 2）关于TruncatedSVD的简单介绍：scikit-learn：通过TruncatedSVD实现LSA（隐含语义分析） 今天发现NMF也是一个很好很实用的模型，就简单介绍一下，它也属于scikit-learn：2.5.矩阵因子分解问题的一部分。 NMF是另一种压缩方法，前
Non-negative Matrix Factorization 非负矩阵分解
AlgoComp
08-13 7292
Non-negative Matrix Factorization 非负矩阵分解
non-negative matrix factorization
最新发布
02-27
### 非负矩阵分解的概念 非负矩阵分解（Non-negative Matrix Factorization, NMF）是一种用于降维的技术，其目标是在保持数据非负性的前提下将高维度的数据表示为低维度的形式。具体来说，给定一个非负矩阵 \(X\) ，NMF旨在找到两个较低秩的非负矩阵\(U\) 和 \(V\) ，使得 \(UV^T \approx X\) 。这种近似通常通过最小化重构误差来实现，即最小化Frobenius范数 \(|| X - UV^T ||^2\) [^1]。 对于成本函数的选择，在基本的NMF算法中，常用的是基于欧几里得距离的成本函数以及Kullback-Leibler散度作为替代选项之一[Lee & Seung, 2001][^2]。 ### 实现方法 下面是一个简单的Python代码片段展示如何利用`scikit-learn`库中的`NMF`类来进行非负矩阵分解： ```python from sklearn.decomposition import NMF import numpy as np # 假设我们有一个形状为(n_samples, n_features)的输入矩阵X n_components = 5 # 设定要提取的主题数量/特征数目 model = NMF(n_components=n_components, init='random', random_state=0) W = model.fit_transform(X) # W代表样本在新空间下的坐标 H = model.components_ # H代表新的基向量组成的矩阵 ``` 在这个例子中，`fit_transform()` 方法返回的是变换后的样本矩阵 `W` （大小为 `(n_samples, n_components)`），而 `components_` 属性则保存着学习到的基础矩阵 `H` （大小为 `(n_components, n_features)`）。这两个矩阵相乘可以得到原始输入矩阵的一个近似版本。 ### 应用场景 非负矩阵分解广泛应用于多个领域内，特别是在处理具有自然部分加性结构的数据集时表现优异。典型的应用包括但不限于文档聚类、图像分析、音频信号处理等领域。例如，在文本挖掘任务中，可以通过对词频统计表执行NMF操作从而发现潜在主题；而在推荐系统设计方面，则可用于预测用户偏好并提供个性化服务建议[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值