非负矩阵分解的矩阵求解

Mickle_Liu

于 2022-11-28 14:53:38 发布

阅读量390

点赞数

CC 4.0 BY-SA版权

分类专栏：非负矩阵分解特征提取文章标签：矩阵线性代数

本文链接：https://blog.youkuaiyun.com/lgy_study/article/details/128010932

非负矩阵分解同时被 2 个专栏收录

3 篇文章

订阅专栏

特征提取

3 篇文章

订阅专栏

本文探讨了带约束问题的最小化，利用KKT条件转换为无约束问题。介绍了非负矩阵分解的定义、目标函数及求解过程，详细阐述了对W和H的梯度求解，并给出了迭代公式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0. 带约束问题的最小化

$\\ s.t. \\ (1) g_i(x)\leq0, i=1,2,\cdots,m \\ (2) h_i(x)=0, i=1,2,\cdots,q$
可以利用KKT条件，将问题转换为无约束最小化：
$y(x|\lambda_i, v_i) = f(x) + \sum_{i=1}^m\lambda_i g_i(x) + \sum_{i=1}^q v_i h_i(x)$
其中， $λi,vi\lambda_i, v_i$ 为拉格朗日乘数。
局部极小值解满足KKT条件：

$,mg_i(x^*)\leq 0, i=1,2,\cdots,m$
$,qh_x(x)=0, i=1,2,\cdots,q$
$,m\lambda_i\geq0, i=1,2,\cdots,m$
$,m\lambda_ig_i(x)=0, i=1,2,\cdots,m$
$∇y(x∗∣λi∗,vi∗)=0\nabla y(x^*|\lambda_i^*, v_i^*)=0$

1. 非负矩阵分解的定义

三个矩阵：
（1）数据矩阵V，大小为 $m×nm\times n$ ，其中，m为样本特征维数，n为样本个数

（2）基矩阵W，大小为 $m×dm\times d$ ，其中，d为隐特征空间中样本的维数， $W≥0W\geq 0$

（3）系数矩阵H，大小为 $d×nd\times n$ , $H≥0H\geq 0$

NMF的目标函数为：
$WH||_F^2 \\ s.t. W\geq 0, H\geq 0$

2. 非负矩阵求解

$WH||_F^2=tr((V-WH)^T(V-WH)) \\ s.t. W\geq0, H\geq0$
假设 $A = [A_{ij}]$ , $B = [B_{ij}]$ ，将约束条件代入目标J可得：
$||V-WH||_F^2 - \sum_i^m\sum_j^d A_{ij}W_{ij }- \sum_i^d\sum_j^n B_{ij}H_{ij} \\ J = tr((V-WH)^T(V-WH)) - tr(A^TW) - tr(B^TH)$

2.1 目标函数对W求导

令：
$J_1 = tr((V-WH)^T(V-WH))=tr(V^TV)-tr(V^TWH)-tr(H^TW^TV)+tr(H^TW^TWH) \\ J_2 = tr(A^TW) \\ J_3 = tr(B^TH)$

2.1.1 计算W的导数

(1） $J_1$ 对W求导
$\frac{\partial tr(V^TWH)}{\partial W} = \frac{\partial tr(HV^TW)}{\partial W} =(HV^T)^T=VH^T$
$\frac{\partial tr(H^TW^TV)}{\partial W} = \frac{\partial tr(VH^TW^T)}{\partial W} =VH^T$
$\frac{\partial tr(H^TW^TWH)}{\partial W} = \frac{\partial tr(WHH^TW^T)}{\partial W} =2WHH^T$
所以，
$\frac{\partial J_1}{\partial W} = -2(V-WH)H^T$
(2) $J_2$ 对W求导
$\frac{\partial J_2}{\partial W} = \frac{\partial tr(A^TW)}{\partial W} = A$
(3) J对W求导
由（1）和（2）可得，
$\frac{\partial J}{\partial W} = -2(V-WH)H^T + A$
(4) 考虑KKT条件
因为 $A_{ij}(-W_{ij})=0$ , $B_{ij}(-H_{ij})=0$ ，有
$\odot W = O, B\odot H = O$
(5) 求取迭代公式
令 $∂J∂W=0\frac{\partial J}{\partial W}=0$ ，并右乘W，有
$-2(V-WH)H^T \odot W + A \odot W = O$
代入（4），有
$(V-WH)H^T \odot W = O$
可得：
$\frac{(VH^T)_{ij}}{(WHH^T)_{ij}}W_{ij} \rightarrow W_{ij}$

2.1.2 计算H的导数

采用与W导数类似的计算方法，可得J对H的导数为：
$\frac{\partial J}{\partial H} = -2W^T(V-WH) + B$
令 $∂J∂H=0\frac{\partial J}{\partial H}=0$ ，并右乘H，有
$-2W^T(V-WH)\odot H + B\odot H = 0$
可得 $WT(V−WH)⊙H=0W^T(V-WH)\odot H=0$
所以，有：
$\frac{[W^TV]_{kj}}{[W^TWH]_{kj}}H_{kj} \rightarrow H_{kj}$