jieba分词实战

原创

于 2018-04-12 21:22:41 发布 · 1.5w 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了jieba分词模块的使用，包括基本分词、载入自定义字典和实战应用。通过实例展示了如何处理中文文本，如小说《琅琊榜》的分词，并解决编码问题，以及统计高频词汇。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jieba是中文分词的一个模块，官方文档 jieba官方文档

jieba分词常用的函数：

jieba.cut()
jieba.lcut()
jieba.cut_for_search()
jieba.lcut_for_search()
jieba.Tokenizer(dictionary=DEFAULT_DICT)

jieba.cut(sentence, cut_all=False, HMM=True) #默认参数

例如：

200万优质内容无限畅学