6、文本向量化、词性标注及应用

文本向量化、词性标注及应用

一、文本向量化与转换

1.1 词袋模型与TF-IDF

词袋模型在垃圾邮件过滤中有很好的应用。例如，被标记为垃圾邮件的邮件可能包含“buy”“money”“stock”等与垃圾邮件相关的词汇。通过将邮件文本转换为词袋模型，我们可以使用贝叶斯概率来判断邮件是否更有可能被放入垃圾邮件文件夹。在这种情况下，单词的顺序并不重要，重要的是单词是否存在于邮件中。

TF-IDF，即词频 - 逆文档频率，是一种将句子转换为向量的直观方法，在搜索引擎中广泛用于根据查询找到相关文档。它试图编码两种不同的信息：词频（TF）和逆文档频率（IDF）。词频是指一个单词在文档中出现的次数，逆文档频率则帮助我们理解一个单词在文档中的重要性。具体计算公式如下：
- (TF(t) = \frac{单词t在文档中出现的次数}{文档中单词的总数})
- (IDF(t) = \log_e(\frac{文档总数}{包含单词t的文档数}))
- (TF - IDF = TF \times IDF)

TF-IDF将更多信息封装到向量表示中，使稀有单词更加突出，同时忽略像“is”“of”“that”等常见但重要性较低的单词。

1.2 其他表示方法

除了词袋模型和TF-IDF，还有主题模型和词向量等表示方法。词向量通过训练一个浅层神经网络（1或2层）将单词描述为向量，每个特征是单词的语义解码。

1.3 使用Gensim进行向量转换

在使用Gensim进行向量转换之前，需要先安装Gensim。以下是具体步骤：
1. 创建语料库