试用jieba和wordcloud

最新推荐文章于 2021-12-21 11:21:30 发布

xiefeisd

最新推荐文章于 2021-12-21 11:21:30 发布

阅读量548

点赞数

CC 4.0 BY-SA版权

分类专栏：类库使用

本文链接：https://blog.youkuaiyun.com/xiefeisd/article/details/86847762

类库使用专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何使用jieba进行中文分词，并结合wordcloud生成词云，包括所需库的安装、文本处理、停用词过滤、词云配置及显示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概述

jieba是中文分词python工具，官网：https://pypi.org/project/jieba/

wordcloud是词云库，官网：https://pypi.org/project/wordcloud/

安装

pip3 install jieba

pip3 install wordcloud

其它基础包

pip3 install scipy #用于科学计算，用numpy必须装

pip3 install numpy #用于处理数组，处理图片要用

pip install Pillow #读取图片要用

pip3 install matplotlib #显示图片要用

准备文件

要处理的文本文件，text.txt，自己准备，编码格式UTF-8

汉字字体文件，simhei.ttf，否则wordcloud不显示汉字，随便去网上下一个即可

停用词文件，stopwords.txt，网上下载，也可以自己制作，非必须

蒙版图片，mask.png，背景必须是白色

使用

#读取本地文本文件
f=open("text.txt","r",encoding='UTF-8')
text=f.read()
f.close()

#读取停用词（标点符号）库
f=open("stopwords.txt","r",encoding='UTF-8')
stopwords={}.fromkeys(f.read().split("\n"))
f.close()

#用jieba进行分词
import jieba
segs=jieba.cut(text)

#jieba分词生成的是generator对象，把它转成字符串数组
mytext_list=[]
for seg in segs:
    #顺便删除停用词
    if (seg not in stopwords) and (len(seg)>1) :
        mytext_list.append(seg)
cloud_text=",".join(mytext_list)

#读取本地图片，要使用的蒙版
from PIL import Image
import numpy as np
#图片的背景必须是白色，否则会把整张照片当做前景
image = np.array(Image.open("mask.jpg"))

#用wordcloud生成词云
from wordcloud import WordCloud
wc = WordCloud(
    background_color="white", #背景颜色
    max_words=2000, #显示最大词数
    font_path="simhei.ttf",  #使用字体
    min_font_size=4,
    max_font_size=12, 
    width=400,  #图幅宽度
    stopwords="stopwords.txt", #停词标点库
    mask=image, #蒙版
    random_state=30, #颜色数量
).generate(cloud_text)

#显示词云
import matplotlib.pyplot as plt
plt.imshow(wc, interpolation='bilinear')
plt.axis("off")
plt.show()