非负矩阵分解（4）：NMF算法和聚类算法的联系与区别

作者：桂。

时间：2017-04-14   06:22:26

链接：http://www.cnblogs.com/xingshansi/p/6685811.html

声明：欢迎被转载，不过记得注明出处哦~

---

前言

之前梳理了一下非负矩阵分解（Nonnegative matrix factorization, NMF），主要有：

　　1）准则函数及KL散度

　　2）NMF算法推导与实现

　　3）拉格朗日乘子法求解NMF（将含限定NMF的求解 一般化）

谱聚类可以参考之前的文章：

　　1）拉普拉斯矩阵（Laplace Matrix）与瑞利熵（Rayleigh quotient）

　　2）谱聚类（Spectral clustering）（1）：RatioCut

　　3）谱聚类（Spectral clustering）（2）:NCut

总感觉NMF跟聚类有联系，这里试着从聚类角度分析一下非负矩阵分解，主要包括：

　　1）Kmeans与谱聚类

　　2）对称非负矩阵分解（symmetric NMF，SyNMF）;

　　3）非对称非负矩阵分解;

内容为自己的学习总结，如果有不对的地方，还请帮忙指出。文中多有借鉴他人的地方，最后一并给出链接。

 

一、Kmeans与谱聚类

　　A-Kmeans定义

，准则函数为：

可以重写为：

定义h：

$n_k$为第k类样本的个数，则准则函数变为：

从而Kmeans的优化问题，等价于：

　　B-Kmeans与谱聚类（Spectral clustering）的联系

上文给出了h的定义：