python的jieba分词简介

原创于 2019-08-13 19:53:07 发布 · 192 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

122 篇文章

订阅专栏

本文通过实例详细介绍了jieba分词库的三种模式：精准模式、全模式和搜索引擎模式。精准模式确保每个词都有实际意义；全模式会将文本中所有可能成词的词语都扫描出来；搜索引擎模式在精准模式的基础上，对长词再次切分，提高召回率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jieba介绍

import jieba
str = "明明知识点都熟记于心，可是在考试的时候脑子一片空白，什么都想不起来了"
#使用自定义字典
#jieba.load_userdict('dict.txt')
 
ex_list1 = jieba.cut(str)
ex_list2 = jieba.cut(str , cut_all= True)
ex_list3 = jieba.cut_for_search(str)
print("精准模式:"+'/'.join(ex_list1))
print("全模式:"+'/'.join(ex_list2))
print("搜索引擎模式："+'/'.join(ex_list3))

精准模式:明明/知识点/都/熟记/于心/，/可是/在/考试/的/时候/脑子/一片空白/，/什么/都/想不起来/了
全模式:明明/明知/知识/知识点/都/熟记/于/心///可是/在/考试/的/时候/脑子/一片/一片空白/空白///什么/都/想不起/想不起来/起来/了
搜索引擎模式：明明/知识/知识点/都/熟记/于心/，/可是/在/考试/的/时候/脑子/一片/空白/一片空白/，/什么/都/起来/想不起/想不起来/了