本文详细介绍了jieba分词库的使用方法，包括三种分词模式：精确模式、全模式和搜索引擎模式，以及如何通过关键词提取、添加自定义词库和调整词典频率来提高分词准确性。
1、三种分词模式 HMM是隐马尔可夫模型,默认是启用的
jieba.lcut以及jieba.lcut_for_search直接返回 list
import jieba
content = '小明是毕业于中国科学院的大学生'
# 精确模式(试图将句子最精确地切开，适合文本分析)
res2 = jieba.cut(content, cut_all=False, HMM=True)
print('精确模式: ', ','.join(res2))
# 全模式(句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义)
res1 = jieba.cut(content, cut_all=True, HMM=False)
print('全模式: ', ','.join(res1))
# 搜索引擎模式(在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词)
res3 = jieba.cut_for_search(content, HMM=False)
print('搜索引擎模式: ', ','.join(res3))
'''
结果：
精确模式: 小明,是,毕业,于,中国科学院,的,大学生
全模式: 小,明,是,毕业,于,中国,中国科学院,科学,科学院,学院,的,大学,大学生,学生
搜索引擎模式: 小,明,是,毕业,于,中国,科学,学院,科学院,中国科学院,的,大学,学生,大学生
'''
2、关键词提取(在进行关键此提取时最好将停用词去除)
import jieba.analyse as analyse
from os import path
# withWeight表示是否输出关键词的权重
# 10表示输出关键词的数量，默认是50
d = path.dirname(__file__)
test_path = 'C:\\Users\\zgjyzkw\\PycharmProjects\\Yan\\study\\jieba\\text.txt'
text = open(path.join(d, test_path), encoding='utf-8').read()
for key in analyse.extract_tags(text, 10, withWeight=True):
print(key)
'''
结果：
('安全', 0.2918577766694737)
('大学生', 0.2152278503552153)
('防盗', 0.188662705916555)
('师生', 0.13245716005995217)
('学会', 0.12920116393952152)
('盗窃', 0.12890952238492825)
('校园', 0.12237415183191387)
('火灾事故', 0.1143996890229665)
('保护', 0.10333022530564594)
('安全意识', 0.10301610943540669)
'''
3、中文歧义测试
import jieba
# 汉语中没有空格进行词语的分隔，所以经常会出现中文歧义，比如年底-底部-部队-队友
content = '2010年底部队友谊篮球赛结束'
res1 = jieba.cut(content, cut_all=False, HMM=True)
print('精确模式: ', ','.join(res1))
res1 = jieba.cut(content, cut_all=True, HMM=True)
print('全模式: ', ','.join(res1))
res1 = jieba.cut_for_search(content)
print('搜索引擎模式: ', ','.join(res1))
'''
结果：
精确模式: 2010,年底,部队,友谊,篮球赛,结束
全模式: 2010,年底,底部,部队,队友,友谊,篮球,篮球赛,球赛,结束
搜索引擎模式: 2010,年底,部队,友谊,篮球,球赛,篮球赛,结束
'''
4、三种让分词更准确的方法
import jieba
# 1、在去除停用词时若有歧义词，可添加自定义中文语句：jieba.add_word('麻小爽')
# 例如：麻小爽，一般情况下会切分成：麻小，小爽，但实际上麻小爽可能是个人名
# 2、添加自定义词库：jieba.load_userdict("userdict.txt")
# jieba采用延迟加载，"import jieba"不会立即触发词典的加载，一旦有必要才开始加载词典构建trie。也可以手动初始化。示例如下:
# import jieba
# jieba.initialize() #手动初始化（可选）
# 在0.28之前的版本是不能指定主词典的路径的，有了延迟加载机制后，你可以改变主词典的路径:
# 注意用户词典为主词典即优先考虑的词典,原词典此时变为非主词典
# 3、jieba.suggest_freq
# 分词1：
print('，'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
# 结果： 如果/放到/post/中将/出错/。
# 分词2： 调整词典使 中将 变为中/将
jieba.suggest_freq(('中', '将'), True)
print('，'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
# 结果： 如果/放到/post/中/将/出错/。
import jieba.analyse as analyse
from os import path
import jieba
import jieba.posseg as pseg
# 补充1：
# 基于 TF-IDF 算法的关键词抽取
# content 为待提取的文本
# topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
# withWeight 为是否一并返回关键词权重值，默认值为 False
# allowPOS 仅包括指定词性的词，默认值为空，即不筛选
d = path.dirname(__file__)
test_path = 'C:\\Users\\zgjyzkw\\PycharmProjects\\Yan\\study\\jieba\\text.txt'
content = open(path.join(d, test_path), encoding='utf-8').read()
keyword = analyse.extract_tags(content, topK=10, withWeight=False, allowPOS=())
print(keyword)
print("---------------------我是分割线----------------")
print(','.join(keyword))
'''
结果：
['安全', '大学生', '防盗', '师生', '学会', '盗窃', '校园', '火灾事故', '保护', '安全意识']
---------------------我是分割线----------------
安全,大学生,防盗,师生,学会,盗窃,校园,火灾事故,保护,安全意识
'''
关于TF-IDF 算法的关键词抽取补充：
# 1、关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径
# 用法： jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
# 2、关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径
# 用法： jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
# 3、基于 TextRank 算法的关键词抽取
# jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。
# jieba.analyse.TextRank() 新建自定义 TextRank 实例
# 基本思想:
# 将待抽取关键词的文本进行分词
# 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图
# 计算图中节点的PageRank，注意是无向带权图
sentence = open('C:\\Users\\zgjyzkw\\PycharmProjects\\Yan\\study\\jieba\\text.txt',encoding='utf-8').read()
# jieba.analyse.set_idf_path(sentence) # 关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径(可选)
# 关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径(可选)
jieba.analyse.set_stop_words('C:\\Users\\zgjyzkw\\PycharmProjects\\Yan\\study\\jieba\\stopwords.txt')
key1 = jieba.analyse.textrank(sentence, topK=10, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
key2 = jieba.analyse.extract_tags(sentence, topK=10, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
print(key1)
print(key2)
'''
结果：
['防盗', '大学生', '学会', '盗窃', '意识', '校园', '保护', '防火', '火灾事故', '做好']
['大学生', '防盗', '学会', '盗窃', '校园', '火灾事故', '保护', '防火', '火灾', '高校']
'''
# 补充2：
# 词性标注：计算所汉语词性标记集
# jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。
# jieba.posseg.dt 为默认词性标注分词器。
# 标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
# import jieba.posseg as pseg
words = pseg.cut("我爱自然语言处理")
for word, flag in words:
print('%s %s' % (word, flag))
'''
结果：
我 r
爱 v
自然语言 l
处理 v
'''
# 补充3：
# 并行分词
# 原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
# 基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows
# 用法：
# jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数
# jieba.disable_parallel() # 关闭并行分词模式
# 实验结果：在 4 核 3.4GHz Linux 机器上，对金庸全集进行精确分词，获得了 1MB/s 的速度，是单进程版的 3.3 倍。
# 注意：并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。
# Tokenize：返回词语在原文的起止位置
# 注意，输入参数只接受 unicode
print("这是默认模式的tokenize")
result = jieba.tokenize(u'自然语言处理非常有用')
for tk in result:
print("%s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
print("\n-----------我是神奇的分割线------------\n")
print("这是搜索模式的tokenize")
result = jieba.tokenize(u'自然语言处理非常有用', mode='search')
for tk in result:
print("%s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
'''
结果：
这是默认模式的tokenize
自然语言 start: 0 end:4
处理 start: 4 end:6
非常 start: 6 end:8
有用 start: 8 end:10
-----------我是神奇的分割线------------
这是搜索模式的tokenize
自然 start: 0 end:2
语言 start: 2 end:4
自然语言 start: 0 end:4
处理 start: 4 end:6
非常 start: 6 end:8
有用 start: 8 end:10
'''
资料学习：
在理解隐马尔可夫模型（HMM）时，看到的很好的博客，记录一下：
1、 隐马尔可夫模型(HMM) - 1 - 基本概念：http://blog.youkuaiyun.com/xueyingxue001/article/details/51435728
2、隐马尔可夫模型(HMM) - 2 - 概率计算方法:https://blog.youkuaiyun.com/xueyingxue001/article/details/51435752#comments
3、隐马尔可夫(HMM)、前/后向算法、Viterbi算法 再次总结:https://blog.youkuaiyun.com/xueyingxue001/article/details/52396494
在理解jieba分词源码时，看到的很好的博客，记录一下：
1、jieba分词源码阅读：http://www.mamicode.com/info-detail-1530766.html
以下是一个作者写的一系列博客，由于时间太早，与现在的jieba分词源码有点出入，但不影响理解。
2、对Python中文分词模块结巴分词算法过程的理解和分析：https://blog.youkuaiyun.com/rav009/article/details/12196623
3、 jieba 分词源代码研读(1)：https://blog.youkuaiyun.com/rav009/article/details/12220977
4、 jieba 分词源代码研读(2)：https://blog.youkuaiyun.com/rav009/article/details/12310077
5、 jieba 分词源代码研读(3) ：https://blog.youkuaiyun.com/rav009/article/details/12420707
6、 jieba 分词源代码研读(4)：https://blog.youkuaiyun.com/rav009/article/details/12447691
原文：https://blog.youkuaiyun.com/LZH_12345/article/details/81707607
参考：https://blog.youkuaiyun.com/alis_xt/article/details/53522435 https://blog.youkuaiyun.com/ch1209498273/article/details/78401637
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
