NLTK基本操作详解——NLP

原创

于 2018-11-13 23:46:41 发布 · 1.2k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#NLTK #NLP

本文详细介绍了NLTK的基本操作，包括下载数据集、文本搜索、统计、词云制作和词频统计。通过分析美国历任总统就职演说中'America'和'citizen'的使用频率，展示了NLP常用函数的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

NLTK基本操作

本文主要包含以下内容：

从nltk.book上下载数据集
文本搜素
文本统计
制作词云
词频统计
NLP常用函数

从nltk.book上下载数据集

import nltk
nltk.download()
from nltk.book import *

在这里插入图片描述

文本搜素

# 查看单词good所在语境
text1.concordance('good')
# 与good用法相似的词汇
text1.similar('good')
# 单词good和great通用的上下文情景
text1.common_contexts(['good','great'])
# 绘制特定词汇在文本中的分布图
# 小说<理智与情感>中女主人公出场情况
text2.dispersion_plot(['Elinor','Marianne','Edward','Willoughby'])

文本统计

''' 词和标点总数、不重复的、词汇丰富度、happy出现次数'''
len(text1)
len(set(text1))
len(text1)/len(set(text1))
text1.count('happy')

最低0.47元/天解锁文章

200万优质内容无限畅学