分词工具库 jieba

pip install jieba -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
import jieba

text = '广西壮族自治区南宁市市辖区'

1.1 精确模式(默认)

试图将句子最精确地切开，适合文本分析

seg_list = jieba.cut(text)

1.2 全模式

把句子中所有的可能成词的词语都扫描出来，速度很快，但是不能解决歧义。

seg_list = jieba.cut(text, cut_all=True)

1.3 搜索引擎模式

在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

seg_list = jieba.cut_for_search(text)

将分词结果转换为列表

word_list = list(seg_list)
print(word_list)

2.1 添加自定义词汇的方法：

jieba.load_userdict(file_name) 参数是文本文件，txt、csv都可以。
自定义词典文件的词汇格式是一个词占一行，每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。

init_dict.txt

奥力给 2
战狼 i
吴京

2.2使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典

jieba.add_word("奥力给",freq=2)

3.1 统计词频

#读入已经去除停用词的文件
with open(r"D:\Desktop\output.txt", 'r',encoding='utf-8') as fr: 
    data = jieba.cut(fr.read())
    #dict()用于创建一个字典 counter()作用就是在一个数组内，遍历所有元素，将元素出现的次数记下来
data = dict(Counter(data))
#读入存储wordcount的文件路径
with open(r"D:\Desktop\cipin.txt", 'w',encoding='utf-8') as fw: 
    for k, v in data.items():
        fw.write('%s,%d\n' % (k, v))