28、文本处理：从词频统计到文档分类

文本处理：从词频统计到文档分类

在当今信息爆炸的时代，文本处理技术在各个领域都发挥着重要作用，如搜索引擎、情感分析、垃圾邮件过滤等。本文将深入探讨文本处理的多个方面，包括词频统计、文档检索与排序、文本分类等，并介绍相关的技术和实现方法。

1. 词频统计

词频统计是文本处理中最基本的操作之一，它可以帮助我们了解文本的特征和主题。下面将介绍两种不同的词频统计方法。

1.1 使用 Python 的 Counter 类

Python 的 collections 模块提供了 Counter 类，它可以方便地统计词频。以下是使用 Counter 类进行词频统计的示例代码：

from collections import Counter

def tokenize(text):
    # 这里假设 tokenize 函数已经定义，用于将文本分割成单词
    words = text.split()
    return words

text = "your text here"
words = tokenize(text)
word_freqs = Counter(words)

# 访问特定单词的词频
print(word_freqs['hector'])  # 如果存在 'hector'，则返回其词频；否则返回 0

# 获取最常见的 n 个单词
print(word_freqs.most_common(5))

1.2 使用 Unix 工具进行词频统计