jieba库与中文分词

jieba库概述

由于中文文本中的单词不是通过空格或者标点符号分割，中文及类似语言存在一个重要的“分词”问题。
jieba是python中一个重要的第三方中文分词函数库，能够将一段中文文本分割成中文词语的序列。jieba库需要通过pip指令安装。

:\>pip install jieba

jieba库的分词原理是利用一个中文词库，将待分词的内容与分词词库进行对比，通过图结构和动态规划找到最大概率的词组。除了分词，jieba还提供增加自定义中文单词的功能。

jieba库支持三种分词模式

1. 精确模式。将句子精确地切开，适合文本分析。
2. 全模式。把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。
3. 搜索引擎模式，在精确模式基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

英文文本不存在分词问题，对于中文分词来说，jieba库只需要一行代码即可。

>>> import jieba
>>> jieba.lcut("阿姆斯特朗回旋加速阿姆斯特朗炮")
Building prefix dict from the default dictionary ...
Dumping model to file cache C:\Users\明扬\AppData\Local\Temp\jieba.cache
Loading model cost 1.277 seconds.
Prefix dict has been built succesfully.
['阿姆斯特朗', '回旋加速', '阿姆斯特朗', '炮']
>>>