14、上下文感知文本分析：从语法到n-gram的特征提取

上下文感知文本分析：从语法到n-gram的特征提取

1. 模型选择与无监督学习

在处理文本数据时，最佳模型的选择很大程度上取决于所使用的语料库以及应用的目标。无监督机器学习在评估模型性能方面存在挑战，因为没有绝对可靠的方法来衡量模型的好坏。不过，基于距离的技术可以量化文档之间的相似度，是处理大型语料库并呈现有趣且相关信息的有效且快速的方法。

以下是一些常见的聚类技术及其适用场景：
| 聚类技术 | 适用场景 |
| ---- | ---- |
| k-means | 适用于大型语料库，尤其是簇数量不多且几何形状不太复杂的情况。使用NLTK实现的余弦距离或Scikit-Learn的MiniBatchKMeans效果较好。 |
| 层次聚类 | 当簇数量较多且数据分布不均匀时是一个有用的替代方法。 |

此外，主题建模（如潜在狄利克雷分配、潜在语义分析或非负矩阵分解）也是应用文本分析工具包中的重要工具，它有助于有效总结未标记文档的语料库。聚类可以作为为监督方法注释数据集的良好起点，创建相似文档的集合可以形成更复杂的结构，如图形关系，从而进行更有影响力的下游分析。

2. 上下文感知的重要性

目前使用的词袋分解技术能帮助我们探索包含相同单词组合的文档之间的关系，词频在特定学科或主题的词汇足以区分或关联文本的情况下非常有效。然而，我们尚未考虑单词出现的上下文，而上下文在传达意义方面起着至关重要的作用。例如，“she liked the smell of roses”和“she smelled like roses”这两个短语，使用之前章节介绍的文本归一化技术（如停用词移除和词形还原）后，它们的词袋向量会相同，