16、高级文本与图像特征提取技术解析

高级文本与图像特征提取技术解析

1. 高级文本特征

在处理文本数据时，词袋模型是一种简单且常用的方法。不过，在实际应用中，我们需要选择停用词阈值，例如排除在超过 90% 的文档中都出现的词。由于现实中的词典词汇众多，而特定文本中往往只包含其中一小部分，这就导致词袋特征具有稀疏性。当存在大量稀疏特征时，选择能够原生处理稀疏特征的机器学习算法，或者能够在不牺牲准确性的情况下处理大量低重要性特征的算法是明智的选择。例如，scikit - learn 库中的朴素贝叶斯算法可以原生处理稀疏数据，非常适合文本分类问题；随机森林算法也能较好地处理大量低重要性特征。

1.1 主题建模

虽然词袋模型简单易懂且易于实现，但一些更高级的方法可以显著提高机器学习模型的准确性。

• 词频 - 逆文档频率（TF - IDF） ：
  • 词袋模型的一个问题是简单的词计数可能无法提供有价值的信息。对于在语料库中常见的词，其在新文本中的出现可能并不能说明太多问题。因此，TF - IDF 算法应运而生。
  • TF - IDF 是词频（TF）和逆文档频率（IDF）的乘积。TF 可以通过多种方式计算，最简单的是使用某个词在特定文档中出现的次数，也可以使用二进制（词在文档中为 1，否则为 0）或对数（1 + log[TF]）形式。IDF 是通过计算文档总数除以包含该词的文档数的对数得到，这样相对不常见的词会获得更高的值。
  • TF - IDF 不仅可以为文本语料生成良好的机器学习特征，还在搜索等领域有应用。通过计算文档的 TF - IDF 向量表示之间的距离，可以对文档进行排序