python-中文分词词频统计

  本文主要内容是进行一次中文词频统计。涉及内容包括多种模式下的分词比较和分词词性功能展示。
  本次使用的是python的jieba库。该库可在命令提示符下，直接输入pip install jieba进行安装。

  Jieba库常用的分词模式有三种：精确模式，全模式和搜索引擎模式。
  精确模式:jieba.lcut(str)，尽可能地将文本精确地分开，比较适合于文本分析
  全模式:jieba.lcut(str,cut_all=True)，把文本中可以成词的词语尽可能地分出来，速度较快，但不能解决歧义问题
  搜索引擎模式:jieba.lcut_for_search(str)，在精确模式的基础上，对长词进行再次切分，提高召回率，适合于搜索引擎。

基本思路

下面用一个案例简单说明一下，分词词频统计的基本思路：
#我是用的是文言文《大学》作为案例文本。
os.chdir(r'C:\Users\分词')
txt = open("大学.txt", encoding="gb18030").read()

#使用精确模式进行分词
count  = jieba.lcut(txt)

#定义空字典，对分词结果进行词频统计
word_count={}
for word in count:
    word_count[word] = word_count.get(word, 0) + 1

#按词频对分词进行排序
items &