[NLP] 对比jieba.cut 与jieba.lcut的区别

最新推荐文章于 2025-06-19 19:16:26 发布

原创最新推荐文章于 2025-06-19 19:16:26 发布 · 1.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #人工智能

本文通过实例对比了jieba分词库中cut与lcut两个函数的功能与使用方法。cut函数返回一个生成器，需进一步处理才能获取分词结果；lcut函数直接返回分词后的列表结果，便于后续操作。

word_list = jieba.cut('对比一下jieba中的cut函数与lcut函数的区别')

这样print(word_list) 得到是 <generator object Tokenizer.cut at 0x0000025E90D1C190>

如果想得到分词后的结果 print(('|'.join(word_list)))

得到结果对比|一下|jieba|中|的|cut|函数|与|lcut|函数|的|区别

而

word_list_lcut = jieba.lcut('对比一下jieba中的cut函数与lcut函数的区别', cut_all=False)

可以直接得到分词后的结果字符串

['对比', '一下', 'jieba', '中', '的', 'cut', '函数', '与', 'lcut', '函数', '的', '区别']

import jieba
word_list = jieba.cut('对比一下jieba中的cut函数与lcut函数的区别')
word_list_lcut = jieba.lcut('对比一下jieba中的cut函数与lcut函数的区别', cut_all=False)
print(word_list)
print(('|'.join(word_list)))
print(word_list_lcut)