python的jieba简单使用

jieba分词的三种模式

• 精确模式：把文本精确的切分开，不存在冗余单词，适合做文本分析。
• 全模式：把文本中所有可能的词语都扫描出来，速度快，但有冗余。
• 搜索引擎模式：在精确模式基础上，对长词再次切分。

函数	含义
jieba.cut(string)	精确模式，返回一个可迭代的数据类型
jieba.cut(string,cut_all = True)	全模式，输出文本string中的所有可能的单词
jieba.cut_for_search(string)	搜索引擎模式，适合搜索引擎建立索引的分词结果
jieba.lcut(string)	精确模式，返回一个列表类型
jieba.lcut(string,cut_all = True)	全模式，返回一个列表类型
jieba.lcut_for_search(string)	搜索引擎模式，返回一个列表类型
jieba.add_word(word)	向分词词典中增加新词

jieba三种模式的简单使用

# _*_ coding:utf-8 _*_
import jieba

words = jieba.cut("山东的气候属暖温带季风气候类型",cut_all=True)    #全模式
print("全模式:", '/ '.join(words) )    
words = jieba.lcut("山东的气候属暖温带季风气候类型",cut_all=True)   #全模式，返回列表
print("全模式:", words)
 
words = jieba.cut("山东的气候属暖温带季风气候类型",cut_all=False)   #精确模式
print("精确模式:", '/ '.join(words) )      
words = jieba.lcut("山东的气候属暖温带季风气候类型",cut_all=False)  #精确模式，返回列表
print("精确模式:", words )                  
 
words = jieba.cut("山东的气候属暖温带季风气候类型")    #默认是精确模式
print("精确模式:", '/ '.join(words) ) 
 
words = jieba.cut_for_search("山东的气候属暖温带季风气候类型") #搜索引擎模式
print("搜索引擎模式：", '/ '.join(words) )
words = jieba.lcut_for_search("山东的气候属暖温带季风气候类型") #搜索引擎模式，返回列表
print("搜索引擎模式：", words )

运行效果：

jieba简单应用

使用 jieba 分词对一个文本进行分词，统计次数出现最多的词语，以盗墓笔记为例

# _*_ coding:utf-8 _*_
import jieba

text = open('C:/Users/dell/Desktop/test/盗墓笔记.txt', 'r' ,encoding = 'utf-8').read()
words = jieba.cut(text)
word_counts = {}

for word in words:
	if len(word) < 2:
		continue
	word_counts[word] = word_counts.get(word, 0) + 1    # 遍历所有词语，每出现一次其对应的值加1

word_counts_items = list(word_counts.items())
word_counts_items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序

for i in range(5):
	print(word_counts_items[i])

运行效果：