python使用jieba库进行分词并添加新词

使用jieba进行文本分词与自定义词典

最新推荐文章于 2024-03-21 13:36:33 发布

原创最新推荐文章于 2024-03-21 13:36:33 发布 · 5.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

Python 专栏收录该内容

13 篇文章

订阅专栏

该博客介绍了如何使用jieba库进行中文文本分词，包括全模式、精确模式和自定义词典的使用。通过示例代码展示了如何添加新词并进行分词操作，适用于自然语言处理和文本分析场景。

因为放各种文字都可能侵权，所以我在代码里就用 x 来代替了，使用时记得先替换成自己需要的文本

import jieba


text='xxxx'            #此处填写文本
print(text)

print('\n\n---------------------cut_all=False----------------------\n')
seq_list=jieba.cut(text,cut_all=False)
print(list(seq_list))

print('\n\n---------------------cut_all=True----------------------\n')
seq_list=jieba.cut(text,cut_all=True)
print(list(seq_list))

print('\n\n---------------------no cut_all----------------------\n')
seq_list=jieba.cut(text,)
print(list(seq_list))


# 添加新词
jieba.add_word('x1')
jieba.add_word('x2')
jieba.add_word('x3')
jieba.add_word('x4')
jieba.add_word('x5')
jieba.add_word('x6')
seq_list=jieba.cut(text,cut_all=False)

print('\n\n---------------------添加新词后----------------------\n')
print(list(seq_list))