文件方式实现完整的英文词频统计实例

最新推荐文章于 2017-09-27 21:36:00 发布

weixin_30896511

最新推荐文章于 2017-09-27 21:36:00 发布

阅读量52

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/0020l/p/7598575.html

本文介绍了一种简单的文本分析方法，包括读取文件、提取单词、排除常见语法词汇、统计词频并输出前20个高频词汇的过程。此方法适用于初步了解文本中出现频率较高的关键词。

1.读入待分析的字符串

2.分解提取单词

3.计数字典

4.排除语法型词汇

5.排序

6.输出TOP(20)

fo=open('test.txt','r')
a=fo.read()
fo.close()

exc={'the','a','to','of','and','in','that','on',''}
a=a.lower()
for i in '.,':
a=a.replace(i,' ')
words=a.split(' ')
print(words)

dic={}
keys=set(words)
keys=keys-exc
print(keys)

for i in keys:
dic[i]=words.count(i)
print(dic)

wc=list(dic.items())
wc.sort(key=lambda x:x[1],reverse=True)
print(wc)

for i in range(20):
print(wc[i])