jieba之segment

最新推荐文章于 2023-12-19 00:57:57 发布

原创最新推荐文章于 2023-12-19 00:57:57 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#jieba #cut

本文通过实例演示了Python中jieba分词器的不同模式：精确模式、全模式及搜索引擎模式。展示了如何使用这些模式对句子进行分词，并比较它们之间的差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码：

import jieba

sentence = "我来到清华大学"


# 从分词粒度上来讲，全模式 > 搜索模式 > 精确模式

# 精确模式
seg_list = jieba.cut(sentence)
#jieba的分词结果是产生一个生成器
print("===" * 20)
print(seg_list)
#如何打印生成器，用分隔符去拼接
print("===" * 20)
print("/".join(seg_list))


# 全模式,把里面所有可能的词都给找出来
seg_list = jieba.cut(sentence, cut_all=True)
print("===" * 20)
print("/".join(seg_list))


# 搜索引擎模式
seg_list = jieba.cut_for_search(sentence)
print("===" * 20)
print("/".join(seg_list))

运行结果：

============================================================
<generator object Tokenizer.cut at 0x1130b3f68>
============================================================
我/来到/清华大学
============================================================
我/来到/清华/清华大学/华大/大学
============================================================
我/来到/清华/华大/大学/清华大学

代码：

# 返回一个列表
# 精确模式
seg_list = jieba.lcut(sentence)
print("===" * 20)
print(seg_list)


# 全模式,把里面所有可能的词都给找出来
seg_list = jieba.lcut(sentence, cut_all=True)
print("===" * 20)
print(seg_list)


# 搜索引擎模式
seg_list = jieba.lcut_for_search(sentence)
print("===" * 20)
print(seg_list)

运行结果：

============================================================
['我', '来到', '清华大学']
============================================================
['我', '来到', '清华', '清华大学', '华大', '大学']
============================================================
['我', '来到', '清华', '华大', '大学', '清华大学']