python之单词词频统计

最新推荐文章于 2022-08-26 09:48:48 发布

原创最新推荐文章于 2022-08-26 09:48:48 发布 · 2.7k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#Python

Python 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一种使用Python统计英文文本中单词出现频率的方法，并选取了出现频率最高的10个单词进行展示。该方法适用于文本分析及信息提取等场景。

需求分析：指定任意英文文本，统计文本中个单词出现的频率，并选出出现频率最高的10个单词
环境：python 3.6.0
IDE:PyCharm 2017.2.3
module:string
数据类型：字符串，列表，元组，字典

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import string
import matplotlib.pyplot as plt
words_freq={ }

f=open("《教父》小说英文版.txt")

for line in f:
#间类似于twenty-one的单词分为两个单词
#分词
    words=line.replace("-"," ").split()
    for word in words:
    #去掉单词前后的标点符号
        word=word.strip(string.punctuation)
        #所有单词不区分大小写，全部转成小写
        word=word.lower()
        #统计，以字典存储
        if word in words_freq:
            words_freq[word]+=1
        else:
            words_freq[word]=1
freq_words=[]
for word,freq in words_freq.items():
    freq_words.append((freq,word))
freq_words.sort(reverse=True)
for freq,word in freq_words[:10]]
    print(word,freq)