Python文本词频统计的编码问题-MOOC嵩天

最新推荐文章于 2023-02-20 11:21:37 发布

吉大秦少游

最新推荐文章于 2023-02-20 11:21:37 发布

阅读量4k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：【Python从入门到进阶全贯通】文章标签： python 文本词频统计

本文链接：https://blog.youkuaiyun.com/zhanshen112/article/details/82809815

【Python从入门到进阶全贯通】专栏收录该内容

114 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客探讨了在Python中进行文本词频统计时遇到的编码问题，包括Hamlet和《三国演义》的词频统计。作者指出，由于TXT文本的编码格式不匹配导致运行错误，解决方法是正确识别和指定TXT文件的UTF-8编码。通过修改代码，确保代码读取的编码与文本文件的编码一致，可以避免此类问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 Python文本词频统计代码

1.1Hamlet词频统计（含Hamlet原文文本）

#CalHamletV1.py
def getText():
    txt = open("hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt
 
hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:           
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

1.2《三国演义》人物出场统计（上）（含《三国演义》原文文本）

#CalThreeKingdomsV1.py
import jieba
txt = open("threekin

了解本专栏

超级会员免费看