[python]使用Counter统计文章中出现频率最高的单词

最新推荐文章于 2023-10-25 22:16:54 发布

原创

最新推荐文章于 2023-10-25 22:16:54 发布 · 8.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍如何使用Python的collections.Counter模块分析文本，找出文章中出现频率最高的单词，进行词频统计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用collections中的Counter来统计一篇文章中出现次数最多的单词：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
Created on 4/21/16

@author: Jiezhi.G@gmail.com

Blog: jiezhi.github.io

Reference: https://docs.python.org/2/library/collections.html#counter-objects
"""
import re
from collections import Counter


file_path = '/Users/jiezhi/Downloads/Scenes from a Courtesan_s Life.txt'

words = re.findall(r'\w+', open(file_path).read().lower())

print Counter(words).most_common(100)

可以得到结果：

[('the', 12405), ('of', 6185), ('to', 5939), ('a', 4931), ('and', 4601), ('in', 3568), ('you', 2759), ('he', 2283), ('is', 2253), ('i', 2224), ('that', 1993), ('as', 1837), ('his', 1834), ('for', 1639), ('was', 1556), ('with', 1395), ('it', 1387), ('said', 1376), ('had', 1366), ('on', 1337), ('at', 1303), ('have', 1267), ('her', 1250), ('by', 1244), ('be', 1230), ('s', 1184), ('this', 1158), ('she