中文词频统计

import jieba
f=open('hlm.txt','r')
text=f.read()
notelist=list(jieba.lcut(text))

textdic={}
for i in set(notelist):   #计算次数
    textdic[i]=notelist.count(i)

delete={'。',' ','他','；', '的', '说', '道', '你','了','，','．','：','也','是','\n','”','“','"','我','又','\u3000','？',
             '去','都','来','有','这','人','他们','不','我们','在','着','你们','便','就','还','们','那',}

for i in delete:     #删除非法词汇
    if i in textdic:
        del textdic[i]

word = sorted(textdic.items(), key= lambda d:d[1], reverse = True)  # 由大到小排序
for i in range(10):  #输出词频Top10
    print(word[i])



问题：使用长篇小说时候会报错，下面是使用小说部分内容进行的中文词频查询。

运行截图如下：

 

转载于:https://www.cnblogs.com/hhmk/p/8663302.html