python --jieba 分词

最新推荐文章于 2024-08-28 08:45:19 发布

好好学习的顾顾

最新推荐文章于 2024-08-28 08:45:19 发布

阅读量7.6k

点赞数 9

分类专栏： python 二级备考文章标签： python

版权

jieba是一个Python的中文分词库，利用中文字库和概率算法进行分词。它提供了精确模式、全模式和搜索引擎模式，分别适用于不同场景。精确模式返回无冗余的分词列表，全模式包含冗余词语，而搜索引擎模式在精确模式基础上对长词再次切分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jieba库中文分词第三方库，中文文本需要通过分词获得单个的词语。

jieba库的原理：利用中文字库，确定汉字之间的关联概率，汉字件概率大的组成词组，形成分词结果，还可以添加自定义的词组。

jieba库分词有3种

1.精确模式：一段文本精确地切分成若干个中文单词，若干个中文单词经过组合，精确还原原先地文本，不存在冗余单词。

2.全模式：一段文本种所有可能出现地词语都扫描出来，一段文本从不同地角度切分成不同地词语，分词后地信息组合会有冗余，不在是原来的文本。

3.搜索引擎模式：精确模式基础上，对发现长的词语，再次切分，进而合适搜索殷勤对短词语的索引和搜索，会有冗余。

jieba库常用函数类型：输入什么类型（字符串，列表）输出类型：字符串，列表、

import jieba
s='当我开始爱自己的时候，不会在为别人的眼光而怯懦，或者产生自我怀疑的时候，将会是我成为新的自己。'
ls=jieba.lcut(s)
print(ls)
结果
['当', '我', '开始', '爱', '自己', '的', '时候', '，&