中文词频统计

1. 下载一中文长篇小说，并转换成UTF-8编码。
2. 使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。
3. 排除一些无意义词、合并同一词。
4. 对词频统计结果做简单的解读。

import jieba
news=open('haha.txt','r',encoding='utf-8').read()
words=list(jieba.cut(news))
exp={','}
keys =set(words)-exp#键的集合

dic={} 
for i in keys:
    if len(i)>1:
        dic[i]=words.count(i)#单词计数字典
w=list(dic.items())
w.sort(key=lambda x:x[1],reverse=True)#列表排序

for j in range(20):#输出TOP20元组
    print(w[j])

航母自从诞生以来，一直就是海上霸王。世界大国几十年前就早已拥有，唯独中国不会制造，要购买也受封锁。不过，尽管如此，中国没有放弃对航母的探索。从上世纪末，我国先后从国外购进四艘航母舰壳壳体，其中广州造船厂从澳大利亚购买了一艘叫做“墨尔本”号的航母，这艘航母的经历可谓是非常传奇。
航母的“舰载机弹射和回收设备(ALRE)”主管加布里埃尔·昆林表示，二号弹射器完成这个里程碑事件，对于每天在航母上进行弹射器工作的船员而言，是非常令人兴奋的，因为他们明白，每次弹射都离目标更进一步。

解读：词频的统计后进行排序输出。

转载于:https://www.cnblogs.com/kebibrany/p/7610349.html