python之词频统计

最新推荐文章于 2025-04-22 11:11:48 发布

grittii

最新推荐文章于 2025-04-22 11:11:48 发布

阅读量1.1w

点赞数 10

分类专栏： python基础文章标签： python 自然语言处理

本文链接：https://blog.youkuaiyun.com/weixin_54958866/article/details/123466990

版权

本文介绍了使用Python进行词频统计，包括分析Hamlet英文文本中的高频词，通过排除语法词汇获取实质性内容。同时，探讨了jieba库在中文分词中的应用，详细讲解了安装和常用函数。最后，展示了如何统计《三国演义》中的人物出场，通过排除无关词汇和处理人物的不同称谓来优化统计结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、Hamlet英文词频统计

txt = open('hamlet.txt','r').read()

# 将大写变小写，排除大小写差异的干扰
txt = txt.lower()

# 将文本中的特殊字符转化为空格，统一分割方式
for ch in ',./?;:'"<>=+-[]{
   }!~%@()#':
    txt.replace(ch, ' ')     

words = txt.split()    # 按空格分隔，列表形式返回
counts = {
   }         #计数器
for word in words:
    counts[word] = counts.get(word, 0) + 1

# 按照词频从高到低排序
counts = sorted(counts.items(), key = lambda x: x[1], reverse = True)

for i in range(10):
    word, count = counts[i]
    print('{0:<10}:{0:>5}'.</

最低0.47元/天解锁文章