23、文本数据处理技术：从特征提取到主题建模

文本数据处理技术：从特征提取到主题建模

1. 低 IDF 特征分析

在文本数据处理中，我们会发现一些具有低逆文档频率（IDF）的特征。这些特征大多是英语中的停用词，如 “the”、“and”、“of” 等。不过，也有一些是与电影评论领域特定相关的词汇，像 “movie”、“film”、“time”、“story” 等。有趣的是，“good”、“great” 和 “bad” 这些词虽然在情感分析任务中可能被认为很重要，但它们也是出现频率较高、相关性较低的词汇。

下面是低 IDF 特征的部分展示：

['the', 'and', 'of', 'to', 'this', 'is', 'it', 'in', 'that', 'but', 'for', 'with',
 'was', 'as', 'on', 'movie', 'not', 'have', 'one', 'be', 'film', 'are', 'you', 'all',
 'at', 'an', 'by', 'so', 'from', 'like', 'who', 'they', 'there', 'if', 'his', 'out',
 'just', 'about', 'he', 'or', 'has', 'what', 'some', 'good', 'can', 'more', 'when',
 'time', 'up', 'very', 'even', 'only', 'no', 'would', 'my', 'see', 'really', 'story',
 'which', 'well', 'had', 'me', 'than', 'much',