Non-Negative Matrix Factorization 非负矩阵分解（NMF）

Non-Negative Matrix Factorization 非负矩阵分解（NMF）

简介及基本思想

1999年由D.D.Lee和H.S.Seung提出的新的矩阵分解思想，在矩阵中所有元素均为非负数约束条件下的矩阵分解方法，通过矩阵分解，可以对描述问题的矩阵进行将为，另一方面可以对大量的数据进行压缩和概括。

原文论文为：《Algorithms for Non-negative Matrix Factorization》

NMF的基本思想为：对于任意给定的一个非负矩阵A，NMF可以找到两个非负矩阵U和V，使得满足A=UV，从而将一个非负矩阵分解为左右两个非负矩阵的乘积。

问题描述

利用公式描述为：
$$V_{n\ast m}\approx W_{n\ast r}\cdot H_{r\ast m}$$
公式中的约等于是因为当前解法并非精确解，而只是数值上的近似解，并且r远远小于n和m，一般情况下满足(n+m)r<nm。在有的文献中，r也被称为隐藏空间的维度。

因为原矩阵V中的一列向量可以解释为W矩阵中所有列向量的加权和，并且权重系数对应为H矩阵中对于列向量的元素，因此一般称W矩阵为基矩阵，而H为权矩阵。

在论文中指出，非负矩阵分解是一个NP问题，可以划分为优化问题用迭代方法交替求U和V。

具体算法流程

损失函数

欧式距离：

$${\Vert A-B\Vert }^2=\sum _{ij}(A_{ij}-B_{ij}{)}^2$$

AB之间的散度：

$$D(A\Vert B)=\sum _{ij}(A_{ij}\log \frac{A_{ij}}{B_{ij}}-A_{ij}+B_{ij})$$

基于乘法更新法阵的迭代更新算法，将矩阵分解算法转化为最小化两个矩阵之间的欧几里得距离的优化问题：
$$\min {\Vert V-V^{\prime }\Vert }^2=\sum _{ij}(V_{ij}-V_{ij}^{\prime }{)}^2$$
其中V是原始矩阵，V'是分解后的矩阵重构而成的矩阵，乘法更新规则如下，首先是H矩阵，权矩阵：
$$H_{a\mu }\leftarrow H_{a\mu }\frac{(W^{T}V{)}_{a\mu }}{(W^{T}WH{)}_{a\mu }}$$
其中a和mu指的是矩阵的第a行第mu列元素，当分母的等式为0的时候，对应位置元素不做更新。

接下来是W矩阵，基矩阵：
$$W_{ia}\leftarrow W_{ia}\frac{(V{H}^T{)}_{ia}}{(WH{H}^T{)}_{ia}}$$
其中i和a指的是矩阵的第i行第a列元素，当分母的等式为0的时候，对应位置元素不做更新。

说明

非负矩阵分解就是将原有矩阵分解为基矩阵和权矩阵，其中基矩阵能够很好的描述概括原有矩阵的特征信息，例如原图是一张人脸，那么基矩阵中的内容就是人的五官特征。此外，经过压缩的基矩阵可以降低维度，减少计算量。

流量矩阵预测的文章中，就是参考非负矩阵分解，将每一个时间片的流量矩阵分解成基矩阵和权矩阵，再将多个时间片逐个计算，最终得到下一个时间片的基矩阵和权矩阵，完成预测。

参考：
1、非负矩阵分解（NMF）及一个小实例——（作者：姚烦了）
2、非负矩阵分解NMF——（作者：柚子皮）