17、文本处理与主题建模技术详解

文本处理与主题建模技术详解

1. 潜在语义索引（Latent Semantic Indexing，LSI）

潜在语义索引（LSI）是一种使用奇异值分解（SVD）来分解文档 - 词矩阵的技术。在SVD中，我们将一个矩阵分解为三个矩阵：$M = U\Sigma V^T$，其中$\Sigma$是奇异值按降序排列的对角矩阵。我们可以取前$K$个奇异值，以此作为原始矩阵的近似。$U$的前$K$列是文档在$K$维空间中的表示，$V$的前$K$列是词在$K$维空间中的表示，这使我们能够比较文档和词的相似度。

以下是使用Python实现LSI的代码示例：

from sklearn.decomposition import TruncatedSVD
K = 100
clusters = ['cluster#{}'.format(k) for k in range(K)]
model = TruncatedSVD(n_components=K)
clustered = model.fit_transform(tfidf)

我们可以查看保留的$K$个奇异值：

model.singular_values_

模型的 components_ 是$\Sigma$的最高$K$个对角值。下面我们来看词在各个组件上的分布：

import pandas as pd
cluster_term