Nonnegative Matrix Factorization: Complexity, Algorithms and Applications 论文笔记

最新推荐文章于 2024-01-23 04:30:00 发布

原创最新推荐文章于 2024-01-23 04:30:00 发布 · 733 阅读

1 ·

CC 4.0 BY-SA版权

论文笔记专栏收录该内容

1 篇文章

订阅专栏

本文探讨了非负矩阵分解(NMF)的复杂度问题，包括当矩阵秩固定时及因子值固定时的NMF复杂度。介绍了exactNMF问题及其解决理论，包括秩为1和2的NMF特性。讨论了松弛法、受限非负秩(rank+*(M))及Nested Polytopes Problem的定义与复杂性。

Nicolas Gillis PhD Thesis

Chapter 3 Nonnegative Rank

存在两个open的问题，对于非负矩阵分解M=UV：

当矩阵M的秩固定时，NMF的复杂度如何？　　

当两个矩阵印子UV的值固定时，NMF的复杂度如何？

exact NMF 问题：
- 给定一个非负m*n矩阵M，其秩为r，如果可能，找到两个非负矩阵因子U，V，其维度分别为m*r，r*n，并且有M=UV。
- exact NMF 问题有以下几个结论：
  - 当rank(M)=1时，任何秩为1的非负矩阵M都可以被分解为两个非负矩阵U，V的乘积
  - 当rank(M)=2时，任何秩为2的非负矩阵M都可以被分解为两个秩为2的非负矩阵U，V

解释：讲矩阵M的每一列看做一个元素，秩为2则其每一列都可以在一个2维子空间上被表示，也即每列都可以用两个非负向量进行表示。并且，这两个extreme vector能够在多项式时间内计算出来。

针对rank-1 NMF，目前有以下理论：
- rank-1 NMF能够在多项式时间内解决；
- 非负矩阵M的左右主奇异向量都是非负的（SVD：M=UΣVT，U中向量称为左奇异向量，V中向量称之为右奇异向量）https://www.cnblogs.com/fionacai/p/5767973.html；
- 主奇异向量的外积是M最好的rank-1 近似
- 这些向量能够在多项式时间内被计算

对于rank-2 NMF：
- 当矩阵M的最优rank-2近似为唯一且非负时，rank-2 NMF问题能够在多项式时间内解决
- 实际上，rank-2 NMF经常不满足非负性，因为M中有很多相当小的元素
- 因此rank-2 NMF的复杂性未知；并且对于任何秩大于2的固定因子分解，复杂度都是未知的

松弛法

对于高斯-赛德尔迭代法，首先求得第k+1次迭代值，然后计算第k+1次、第k次迭代值之差，之后再第k次迭代值的基础上，直接加上这个差的一个倍数ω，作为实际第k+1次的迭代值，其中，ω成为松弛因子。

当ω>1时，成为超松弛法，次数加大了第k+1词迭代的比重；当ω<1时，称为亚松弛法或低松弛法；当ω=1时，就是普通的高斯-赛德尔迭代法。

矩阵形式go forhttps://baike.baidu.com/item/%E6%9D%BE%E5%BC%9B%E6%B3%95

Restricted Nonnegative Rank：rank+*(M)

对于非负矩阵M，存在一个最小的正数k，使得存在UV（维度与前文相同省略），使得M=UV，并且rank（U）= rank（M），也即col（U）= col（M）。

一般计算受限非负秩，以及相关的非负矩阵分解因子UV，使得M=UV，并且rank（U）= rank（M）= r。

做上面计算的原因在于：1）为寻找非负秩提供了新的上界： $rank_+(M) \leq rank_+^*(M)$ 2）受限非负秩能够更容易的计算

求解受限非负秩与rank-2 NMF不同，当 $r= 4$ 时，计算受限非负秩可以在多项式时间内解决；对于 $r \geq 4$ ，是NP-难的。

Nested Polytopes Problem

对于一个多面体空间P，其中存在一些点构成的集合S，这些点不在任何超平面上。试图找到包含点数量最小的集合，使得这些点的凸包（convex hull）T包含S，也即 $S\subseteq T\subseteq P$

Intermediate Simplex

给定一个有界的多面体 $P=\{x\in \mathbb R^{r-1}|0 \leq f(x)=Cx+d \}$ ，有 $(C,d)\in \mathbb{R}^{m\times r}$ ，P中存在一个包含n个点的集合S，S中所有的点不属于任何一个超平面，，是否存在 $r$ 个点，使得这 $r$ 个点的凸包T包含S，也即，是否存在一个包含r个点的多面体T使得有 $S\subseteq T\subseteq P$ ？