简介
◆ jieba库是优秀的中文分词第三方库
◆ jieba库和其他的第三方库一样,在cmd中使用pip install jieba 就可以进行安装
◆ jieba最常用的函数只有一个,在下面我们会见到
jieba库的三种模式及其函数
◆ 精确模式:jieba.lcut(s) 对文本s进行分词
◆ 全局模式:jieba.lcut(s,cut_all=True) 进行分词之后存在冗余
◆ 搜索引擎模式:jieba.lcut_for_search(s) 同样进行分词之后存在冗余
◆ jieba.add_words(w) 向分词词典中增加一个单词
当然,最常用的还是jieba.lcut(s),这个函数就基本上满足平时的需求了
文本词频统计实例
(1)我们先对汉字文本进行分析(采用的例子是MOOC上的文本Hamlet,如果大家需要的话,我可以上传)
# 对Hamlet进行词频分析
def gettext():
#打开文件
text=open("e:/python代码/hamlet.txt","r").read()
text=text.lower()
#将特殊符号全部换成空格
for ch in '!"#$%^&*()+_-,./:;<>?@[]{}\|~':
text=text.replace(ch,"")
return text
hamlettxt=gettext()
#将字符串按空格分割成列表
words=hamlettxt.split()
counts={}
#以字典形式统计每个单词的出现次数
for word in words:
counts[word]=counts.get(word,0)+1
items=list(counts.items())
#将列表按从