统计一个英文文本的单词词频

最新推荐文章于 2025-06-17 22:05:32 发布

shiluoye_lean

最新推荐文章于 2025-06-17 22:05:32 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：重读python 重读c++

本文链接：https://blog.youkuaiyun.com/shiluoye_lean/article/details/72770610

重读python 同时被 2 个专栏收录

4 篇文章

订阅专栏

重读c++

1 篇文章

订阅专栏

本博客介绍了一种使用Python进行文本预处理的方法，包括去除标点符号及统计词频等内容。通过对文本中的标点符号进行过滤，并对剩余词汇进行计数，实现对文本的基本统计分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import re
punct = set(u''':!),.:;?]}¢'"、。〉》」』】〕〗〞︰︱︳﹐､﹒
﹔﹕﹖﹗﹚﹜﹞！），．：；？｜｝︴︶︸︺︼︾﹀﹂﹄﹏､～￠
々‖•·ˇˉ―--′’”([{£¥'"‵〈《「『【〔〖（［｛￡￥〝︵︷︹︻
︽︿﹁﹃﹙﹛﹝（｛“‘-—_…''')

word_count_list={}
with open("in.txt",'r') as f:
    for line in f:
        #print('去除标点前：',line)
        line2 = ''.join(filter(lambda x: x not in punct, line))
        #print('去除标点后：', line2)
        wordlist=line2.strip().split()
        for word in wordlist:
            #print('({})'.format(word),end='')
            if word not in word_count_list.keys():
                word_count_list[word]=1
            else:
                word_count_list[word]+=1

print(word_count_list)