使用python对中文文本进行分词

何为中文分词,指的是将一个汉字序列切分成一个个单独的词。

这里我们推荐使用jieba分词，它是专门使用python语言开发的分词系统,占用资源较少，常识类文档的分词精度较高。

我们可以去网上下载jieba的压缩包,然后解压，进入目录，找到setup.py这个文件，然后可以可以使用下面两种半自动方式去安装

方式一: 进入cmd命令窗口，输入: python setup.py install jieba

方式二: 进入cmd命令窗口，输入:pip install jieba

然后我们就可以进行下面的中文文本分词的操作了

首先我们把需要分词的文件train_corpus_small拷贝到项目中来:

然后我们创建一个demo3.py对其进行分词操作

# -*- encoding:utf-8 -*-
import sys
import jieba
import os
# 配置UTF-8的环境
reload(sys)
sys.setdefaultencoding('utf-8')
# 写入文件
def savef