用Python统计瓦尔登湖的词频

本文通过Python分析英文小说《瓦尔登湖》的词频,讲解了从打开文件、分词到统计词频的过程。在处理中遇到了单词前后带有符号、大小写区分等问题,通过改进代码,如使用strip()去除符号,转为小写,利用集合去重,最终实现了按词频排序的词频统计。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在文本处理中,我们经常需要对文本中的单词出现频率做一个统计,本文以英文小说《瓦尔登湖》为例,统计一下作者最喜欢用什么单词,他们各自的出现频率如何。

首先需要《瓦尔登湖》的文本:点击下载《瓦尔登湖》https://pan.baidu.com/s/1o75GKZ4


思路分析:

  1. 首先,要打开文件,把里面的内容写到字符串里面。
  2. 接着,要对字符串进行分词,分割成独立的单词。
  3. 最后,根据每个单词进行词频统计。

把下载好的“Walden.txt”放到桌面,复制一下完整的路径名,特别注意:

Windows系统下,默认的文件名路径子级和父级之间可能是用反斜杠“ \ ”表示的,而在Python中,子级和父级之间用正斜杠“ / ”表示。

文件打开的时候,如果出现以下错误:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

说明文件编码格式异常,解决办法:在文件打开的语句中添加 encoding = ' utf-8 &#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值