词频统计及出现的相关问题

原创

于 2018-11-06 19:51:07 发布 · 2k 阅读

CC 4.0 BY-SA版权

本文介绍了在PyCharm中进行词频统计遇到的问题及解决方案。针对英文文档`hamlet.txt`和中文文档`threekingdoms.txt`，分别使用CalHamletV1.py和CalThreeKingdomsV1、V2进行词频统计。在处理英文文档时遇到SyntaxError，原因是文件中包含非ASCII字符；而在处理中文文档时，虽然解决了编码问题，但未能按人名排序，后续进行了升级改进。参考链接提供了更多解决细节。

1.在pycharm中将要查词频的文档放入同一个目录下，hamlet.txt为纯英文文档，threekingdoms.txt为中文文档

2.CalHamletV1.py为纯英文文档词频

CalThreeKingdomsV1 中文初步版词频

CalThreeKingdomsV2 中文升级版词频

3.代码

CalHamletV1.py为纯英文文档词频

                
#CalHamletV1.py
def getText():
    txt = open("hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:			
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

SyntaxError: Non-ASCII character '\xe2' in file F:/Python_test/dictionary_test/Cal