文件方式实现完整的英文词频统计实例

最新推荐文章于 2020-11-20 22:09:52 发布

weixin_30670925

最新推荐文章于 2020-11-20 22:09:52 发布

阅读量114

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wuwenx/p/7602279.html

本文介绍了一种通过Python实现的英文小说词频分析方法。该方法包括读取文本、提取单词、创建计数字典、排除常见语法词汇、排序并输出前20个高频词汇等步骤。文中提供了一个具体实例，展示了如何从一篇英文文章中提取有用信息。

可以下载一长篇的英文小说，进行词频的分析。

1.读入待分析的字符串

2.分解提取单词

3.计数字典

4.排除语法型词汇

5.排序

6.输出TOP(20)

7.对输出结果的简要说明。

#读入待分析的字符串
fo=open('test.txt','r')
str=fo.read()
fo.close()

str=str.lower()

#分解提取单词 
for i in ',.?!"\n--':
    str=str.replace(i,' ')
words=str.split(' ')

#排除语法型词汇
dict={}
ecp=set(['','a','an','the','and','to','in','on','of','for','i','our','us','into','her','we',
         'when','their','my','from','them','with','after','would','was','had','that','while',
         'his','she','up','it','they','so','by'])
keys=set(words)-ecp 

#创建计数字典
for i in keys:
    dict[i]=words.count(i)
#将字典转换为列表,以便后序排序
items=list(dict.items()) 

#排序
items.sort(key=lambda x:x[1],reverse=True)

#输出TOP(20)
print('输出TOP20:')
for i in range(20):
   print(items[i])