NMF的应用-读Daniel D.Lee nature上的论文总结-Learning the parts of objects by non-negative matrix factorization

本文探讨了非负矩阵分解(NMF)在学习对象部分和文本语义分析中的作用。通过非负约束,NMF能够实现基于部件的表示,并用于提取文档的语义特征。在面部识别和文档理解的实验中,NMF自动聚集描述相似概念的词汇。然而,NMF并不适用于所有复杂模型的学习,可能需要多级的隐藏变量。尽管非负限制有助于部分表示,但NMF无法捕获部分之间的句法关系,且假设的隐藏变量统计独立性并未得到保证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

Learning the parts of objects by non-negative matrix factorization

 

 

 

由于NMF使用非负矩阵来分解原有矩阵(V=WH),因此,在分解时,只会进行“加”操作数据,不会进行减操作,因此在进行因式分解时。W可以当做提取出来的各个相关度不大的特征,也就是其中所说的Basis images和whole faces,而H可以表示编码encoding。

 

正是因为矩阵为非负的,因此它能够实现parts-based representation。

 

编码(encoding)(H)表示一张脸(图片)(V),可以表示成Basis images(W)的线性组合。

 

W为n*r的,H为r*m的,V为n*m的。

其中r的取值应符合(n+m)<nm。

 

NMF用于文本语义分析(semantic analysis of text documents):

 

文档集合用矩阵V表示,Viu表示第 个文档,词 出现的次数。

 

使用NMF获得W矩阵和F矩阵。

 

在试验中,使用m=30,991个文档和n=15,276个词,生成Vnm

### 非负矩阵分解的概念 非负矩阵分解(Non-negative Matrix Factorization, NMF)是一种用于降维的技术,其目标是在保持数据非负性的前提下将高维度的数据表示为低维度的形式。具体来说,给定一个非负矩阵 \(X\) ,NMF旨在找到两个较低秩的非负矩阵\(U\) 和 \(V\) ,使得 \(UV^T \approx X\) 。这种近似通常通过最小化重构误差来实现,即最小化Frobenius范数 \(|| X - UV^T ||^2\) [^1]。 对于成本函数的选择,在基本的NMF算法中,常用的是基于欧几里得距离的成本函数以及Kullback-Leibler散度作为替代选项之一[Lee & Seung, 2001][^2]。 ### 实现方法 下面是一个简单的Python代码片段展示如何利用`scikit-learn`库中的`NMF`类来进行非负矩阵分解: ```python from sklearn.decomposition import NMF import numpy as np # 假设我们有一个形状为(n_samples, n_features)的输入矩阵X n_components = 5 # 设定要提取的主题数量/特征数目 model = NMF(n_components=n_components, init='random', random_state=0) W = model.fit_transform(X) # W代表样本在新空间下的坐标 H = model.components_ # H代表新的基向量组成的矩阵 ``` 在这个例子中,`fit_transform()` 方法返回的是变换后的样本矩阵 `W` (大小为 `(n_samples, n_components)`),而 `components_` 属性则保存着学习到的基础矩阵 `H` (大小为 `(n_components, n_features)`)。这两个矩阵相乘可以得到原始输入矩阵的一个近似版本。 ### 应用场景 非负矩阵分解广泛应用于多个领域内,特别是在处理具有自然部分加性结构的数据集时表现优异。典型的应用包括但不限于文档聚类、图像分析、音频信号处理等领域。例如,在文本挖掘任务中,可以通过对词频统计表执行NMF操作从而发现潜在主题;而在推荐系统设计方面,则可用于预测用户偏好并提供个性化服务建议[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值