57、非负矩阵分解算法在潜在语义分析中的应用

非负矩阵分解算法在潜在语义分析中的应用

潜在语义分析模型

在文本处理中，我们常使用非负矩阵分解（NMF）来进行潜在语义分析（LSA）。给定一个 $m×n$ 的非负词 - 文本矩阵 $X \geq 0$，假设文本集中共有 $k$ 个主题。我们对 $X$ 进行 NMF，也就是找到非负的 $m×k$ 矩阵 $W \geq 0$ 和 $k×n$ 矩阵 $H \geq 0$，使得 $X \approx WH$。

这里，$W = \begin{bmatrix} w_1 & w_2 & \cdots & w_k \end{bmatrix}$ 是主题向量空间，$w_1, w_2, \cdots, w_k$ 表示文本集中的 $k$ 个主题；$H = \begin{bmatrix} h_1 & h_2 & \cdots & h_n \end{bmatrix}$ 是主题向量空间中的文本，$h_1, h_2, \cdots, h_n$ 表示文本集中的 $n$ 个文本。这就是基于 NMF 的 LSA 模型。

NMF 有着非常直观的解释。主题向量和文本向量都是非负的，对应着“伪概率分布”，向量的线性组合意味着局部叠加构成整体。

非负矩阵分解的形式化

NMF 可以形式化为一个优化问题。首先，我们需要定义损失函数或成本函数。

• 平方损失 ：假设两个非负矩阵 $A = [a_{ij}] {m×n}$ 和 $B = [b {ij}] {m×n}$，平方损失函数定义为：
  $| A - B |^2 = \sum