Jieba分词包（三）——基于词频最大切分组合

最新推荐文章于 2021-12-27 15:32:21 发布

bigface1234fdfg

最新推荐文章于 2021-12-27 15:32:21 发布

阅读量4.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： NLP 文章标签： Jieba分词 trie树 DAG图动态规划字典

本文链接：https://blog.youkuaiyun.com/puqutogether/article/details/41847483

本文介绍了Jieba分词包如何基于词频和DAG图，运用动态规划方法从后往前遍历，选择得分最高的切分组合。这种方法考虑了汉语句子的重心常在后面的特性，提高了正确率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Jieba分词包（三）——基于词频最大切分组合

在前面，我们已经知道dict中所有的单词和词频信息已经存在了一个trie树中，并且需要分词的句子已经构建成了一个DAG图，构建的过程也运用了dict。那么这次我们来说如何基于每句话的DAG图，找到一个组合路径，使得该组合最合理（即打分最高）？

我们直接针对Jieba分词的源代码来解释，其中已经有了很多注释：

def calc(sentence,DAG,idx,route):  #动态规划，计算最大概率的切分组合
	#输入sentence是句子，DAG句子的有向无环图
    N = len(sentence)  #句子长度
    route[N] = (0.0,'')
    for idx in xrange(N-1,-1,-1):  #和range用法一样，不过还是建议使用xrange
		#可以看出是从后往前遍历每个分词方式的

		#下面的FREQ保存的是每个词在dict中的频度得分，打分的公式是 log(float(v)/total)，其中v就是被打分词语的频数
		 #FREQ.get(sentence[idx:x+1],min_freq)表示，如果字典get没有找到这个k