在文本处理中,我们经常需要对文本中的单词出现频率做一个统计,本文以英文小说《瓦尔登湖》为例,统计一下作者最喜欢用什么单词,他们各自的出现频率如何。
首先需要《瓦尔登湖》的文本:点击下载《瓦尔登湖》(https://pan.baidu.com/s/1o75GKZ4)
思路分析:
- 首先,要打开文件,把里面的内容写到字符串里面。
- 接着,要对字符串进行分词,分割成独立的单词。
- 最后,根据每个单词进行词频统计。
把下载好的“Walden.txt”放到桌面,复制一下完整的路径名,特别注意:
Windows系统下,默认的文件名路径子级和父级之间可能是用反斜杠“ \ ”表示的,而在Python中,子级和父级之间用正斜杠“ / ”表示。
文件打开的时候,如果出现以下错误:
UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence
说明文件编码格式异常,解决办法:在文件打开的语句中添加 encoding = ' utf-8 &#