NLTK与深度学习的自然语言处理实战:NLTK基础入门-构建情感分析器

最新推荐文章于 2025-12-16 16:32:45 发布

原创最新推荐文章于 2025-12-16 16:32:45 发布 · 435 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #自然语言处理 #NLTK

部署运行你感兴趣的模型镜像

项目实践：构建一个简单的情感分析器

学习目标

通过本实验的学习，学员将能够使用NLTK库构建一个简单的情感分析器，理解自然语言处理的基本流程，包括文本预处理、特征提取和模型训练等关键步骤。

学习内容

1 NLTK情感分析器构建

1.1 文本预处理

在自然语言处理中，文本预处理是一个非常重要的步骤，它直接影响到后续模型的性能。预处理的目的是将原始文本转换成适合机器学习模型处理的形式。常见的预处理步骤包括分词、去除停用词、词干化等。

1.1.1 分词

分词是将文本分割成单词或短语的过程。在英文中，分词相对简单，因为单词之间有明显的分隔符（如空格）。但在其他语言中，如中文，分词则需要更复杂的算法。在NLTK中，可以使用word_tokenize函数进行分词。可以运行下面的代码安装nltk库，同时下载本实验需要使用的nltk数据包。

%pip install nltk==3.9.1

!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_datasets/600279fa2fe411f082f7fa163edcddae/nltk_data.zip
!unzip nltk_data.zip

import os
import nltk
from nltk.tokenize import word_tokenize

nltk.data.path.append(os.path.join(os.getcwd(), 'nltk_data'))

# 示例文本
text = "Natural language processing (NLP) is a field of computer science, artificial intelligence, and linguistics."

# 分词
tokens = word_tokenize(text)
print(tokens)

1.1.2 去除停用词

停用词是指在文本中频繁出现但对文本内容贡献不大的词汇，如“the”、“is”等。去除停用词可以减少数据的维度，提高模型的效率。在NLTK中，可以使用stopwords模块来去除停用词。

from nltk.corpus import stopwords

# 获取英文停用词列表
stop_words = set(stopwords.words('english'))

# 去除停用词
filtered_tokens = [token for token in tokens if token.lower() not in stop_words]
print(filtered_tokens)

1.1.3 词干化

词干化是将单词还原到其基本形式的过程，例如将“running”还原为“run”。词干化可以减少词汇的多样性，提高模型的泛化能力。在NLTK中，可以使用PorterStemmer或LancasterStemmer进行词干化。

from nltk.stem import PorterStemmer

# 创建词干化器
stemmer = PorterStemmer()

# 词干化
stemmed_tokens = [stemmer.stem(token) for token in filtered_tokens]
print(stemmed_tokens)

1.2 特征提取

特征提取是将预处理后的文本转换成机器学习模型可以理解的数值形式的过程。常见的特征提取方法包括词袋模型（Bag of Words, BoW）、TF-IDF等。

1.2.1 词袋模型

词袋模型是一种简单的特征提取方法，它将文本表示为一个词汇表中词汇的频率向量。在Python中，可以使用CountVectorizer类来实现词袋模型。

from sklearn.feature_extraction.text import CountVectorizer

# 示例文本
texts = ["I love natural language processing", "NLP is fascinating", "Text analysis is fun"]

# 创建词袋模型
vectorizer = CountVectorizer()

# 转换为词袋模型
X = vectorizer.fit_transform(texts)

# 查看词汇表
print(vectorizer.get_feature_names_out())

# 查看词袋矩阵
print(X.toarray())

1.2.2 TF-IDF

TF-IDF（Term Frequency-Inverse Document Frequency）是一种更高级的特征提取方法，它不仅考虑了词汇在文档中的频率，还考虑了词汇在整个文档集合中的重要性。在Python中，可以使用TfidfVectorizer类来实现TF-IDF。


from sklearn.feature_extraction.text import TfidfVectorizer

# 创建TF-IDF模型
tfidf_vectorizer = TfidfVectorizer()

# 转换为TF-IDF矩阵
X_tfidf = tfidf_vectorizer.fit_transform(texts)

# 查看词汇表
print(tfidf_vectorizer.get_feature_names_out())

# 查看TF-IDF矩阵
print(X_tfidf.toarray())

1.3 模型训练与评估

在完成文本预处理和特征提取后，接下来需要训练一个模型来完成情感分析任务。这里使用朴素贝叶斯分类器作为示例。

1.3.1 准备数据集

首先，需要准备一个情感分析的数据集。这里使用一个简单的数据集，包含正面和负面的评论。

import pandas as pd

# 读取 .parquet 文件
df = pd.read_parquet('train-00000-of-00001.parquet')

# 查看数据集
print(df)

1.3.2 划分训练集和测试集

为了评估模型的性能，需要将数据集划分为训练集和测试集。

from sklearn.model_selection import train_test_split

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df['text'], df['label'], test_size=0.2, random_state=42)

# 查看划分结果
print("训练集大小:", len(X_train))
print("测试集大小:", len(X_test))

1.3.3 训练模型

使用TF-IDF特征和朴素贝叶斯分类器训练模型。


from sklearn.naive_bayes import MultinomialNB

# 创建TF-IDF向量化器
tfidf_vectorizer = TfidfVectorizer()

# 转换训练集和测试集
X_train_tfidf = tfidf_vectorizer.fit_transform(X_train)
X_test_tfidf = tfidf_vectorizer.transform(X_test)

# 创建朴素贝叶斯分类器
clf = MultinomialNB()

# 训练模型
clf.fit(X_train_tfidf, y_train)

1.3.4 评估模型

使用测试集评估模型的性能。

from sklearn.metrics import accuracy_score, classification_report

# 预测测试集
y_pred = clf.predict(X_test_tfidf)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("准确率:", accuracy)

# 打印分类报告
print(classification_report(y_test, y_pred))