Python31 自然语言处理NLP之NLTK的使用

关注

VIP免费原创最新推荐文章于 2026-04-22 09:05:56 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

基于nltk的自然语言处理---stopwords停用词处理一个nltk库的自然语言处理stopwords停顿词的测试脚本，先对一段字符串进行测试： import pandas as pd import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize from nltk.corpus import stopwords nltk.download(... 阅读详情

1.关于自然语言处理NLP

自然语言处理NLP是人工智能和计算机科学的一个子领域，专注于计算机与人类（自然）语言之间的互动。其目的是使计算机能够理解、解释和生成人类语言。NLP 涉及语言学、计算机科学和人工智能的多学科交叉，通过统计、机器学习和深度学习等方法处理和分析大量的自然语言数据。

核心任务和应用

NLP 包括多种任务和应用，主要分为以下几类：

1. 文本处理

分词：将文本分割成独立的单词或短语。
词性标注：标识每个单词在句子中的词性（如名词、动词、形容词等）。
句法分析：解析句子的语法结构，包括依存关系和短语结构分析。

2. 文本分类

情感分析：检测文本中的情感倾向，如积极、中立或消极。
主题建模：识别文本中的主题或隐藏的语义结构。
垃圾邮件过滤：检测并过滤电子邮件中的垃圾内容。

3. 信息提取

命名实体识别（NER）：识别文本中的实体，如人名、地名、组织等。
关系抽取：从文本中提取实体之间的关系。
事件抽取：识别和分类文本中的事件信息。

4. 机器翻译

自动翻译：将文本从一种语言翻译成另一种语言，如 Google 翻译。

5. 文本生成

语言生成：生成与输入语义相关的自然语言文本。
摘要生成：从长文本中提取关键内容生成摘要。

6. 对话系统

聊天机器人：与用户进行自然语言对话，如客服机器人。
智能助理：提供信息查询、任务管理等服务，如 Siri、Alexa。

主要技术和方法

1. 统计方法

早期的 NLP 方法主要依赖于统计模型，如 n-gram 模型、隐马尔可夫模型（HMM）和条件随机场（CRF），用于各种语言处理任务。

2. 机器学习

传统机器学习方法，如支持向量机（SVM）、朴素贝叶斯、决策树等被广泛应用于文本分类、情感分析等任务。

3. 深度学习

近年来，深度学习技术在 NLP 中取得了显著进展，主要包括：

循环神经网络（RNN）：特别是长短期记忆（LSTM）和门控循环单元（GRU）被用于处理序列数据，如文本生成和机器翻译。
卷积神经网络（CNN）：用于文本分类和句子建模。
Transformer：由 Google 提出的 Transformer 结构及其衍生模型（如 BERT、GPT）在多种 NLP 任务中表现优异。

工具和库

NLTK：Python 的自然语言处理库，提供丰富的工具和资源。
spaCy：高效的 NLP 库，适用于工业应用。
Gensim：用于主题建模和文档相似性计算的库。
Transformers：Hugging Face 提供的库，包含多种预训练模型，如 BERT、GPT 等。

2.NTLK库

NLTK（Natural Language Toolkit）是一个广泛使用的开源 Python 库，专门用于处理自然语言文本。它提供了丰富的工具和资源，用于完成各种自然语言处理（NLP）任务，包括文本预处理、词性标注、句法分析、语义分析、机器翻译等。NLTK 适用于教育和研究领域，同时也是入门 NLP 的理想工具。

核心组件和功能

NLTK 包含多个模块和子包，提供了各种 NLP 功能。以下是一些核心组件和功能：

1. 文本预处理

分词（Tokenization）：将文本分割成独立的单词或句子。

# 导入 NLTK 库
import nltk

# 下载 punkt 数据包，用于分句和分词
nltk.download('punkt')

# 定义一个句子
sentence = "Natural language processing is fun."

# 使用 NLTK 的 word_tokenize 函数对句子进行分词
# word_tokenize 函数将输入的字符串按单词进行分割，生成一个单词列表
words = nltk.word_tokenize(sentence)

# 打印分词后的结果
# 结果是一个包含句子中每个单词的列表
print(words)

# 输出：
'''
['Natural', 'language', 'processing', 'is', 'fun', '.']
'''

去除停用词（Stopword Removal）：去除无意义的常见词（如 "the", "is"）。

# 从 NLTK 的语料库模块中导入 stopwords
from nltk.corpus import stopwords

# 下载 stopwords 数据包，包含各种语言的常见停用词
nltk.download('stopwords')

# 获取英语的停用词集合
stop_words = set(stopwords.words('english'))

# 过滤掉分词结果中的停用词
# 对于每个单词 w，如果该单词（转换为小写后）不在停用词集合中，则保留该单词
filtered_words = [w for w in words if not w.lower() in stop_words]

# 打印过滤后的单词列表
# 结果是一个去除了停用词的单词列表
print(filtered_words)

# 输出：
'''
['Natural', 'language', 'processing', 'fun', '.']
'''

词干提取（Stemming）：将单词还原为词干形式。

# 从 NLTK 的 stem 模块中导入 PorterStemmer
from nltk.stem import PorterStemmer

# 初始化 PorterStemmer 对象
stemmer = PorterStemmer()

# 对分词结果中的每个单词进行词干提取
# stemmer.stem(w) 方法会提取单词的词干
stemmed_words = [stemmer.stem(w) for w in words]

# 打印词干提取后的单词列表
# 结果是一个包含每个单词词干形式的列表
print(stemmed_words)

# 输出：
'''
['natur', 'languag', 'process', 'is', 'fun', '.']
'''

词形还原（Lemmatization）：将单词还原为其基本形式。

# 从 NLTK 的 stem 模块中导入 WordNetLemmatizer
from nltk.stem import WordNetLemmatizer

# 下载 wordnet 数据包，包含用于词形还原的词典
nltk.download('wordnet')

# 初始化 WordNetLemmatizer 对象
lemmatizer = WordNetLemmatizer()

# 对分词结果中的每个单词进行词形还原
# lemmatizer.lemmatize(w) 方法会将单词还原为其基本形式
lemmatized_words = [lemmatizer.lemmatize(w) for w in words]

# 打印词形还原后的单词列表
# 结果是一个包含每个单词基本形式的列表
print(lemmatized_words)

# 输出：
'''
['Natural', 'language', 'processing', 'is', 'fun', '.']
'''

2. 词性标注（Part-of-Speech Tagging）

标注句子中的每个单词的词性：

# 下载词性标注器的模型数据包
nltk.download('averaged_perceptron_tagger')

# 对分词结果进行词性标注
# nltk.pos_tag(words) 方法会为每个单词分配词性标签
tagged_words = nltk.pos_tag(words)

# 打印词性标注后的单词列表
# 结果是一个包含单词及其词性