16、数据搜索、挖掘与可视化实战

数据搜索、挖掘与可视化实战

在数据处理和分析领域，搜索、挖掘和可视化数据是非常重要的环节。本文将详细介绍如何对维基百科页面的编辑数据进行处理，以及如何创建词云、爬取维基百科页面链接并可视化页面关系。

1. 维基百科编辑数据的地理编码

我们将研究维基百科上网络爬虫页面的编辑记录。该页面的链接为： https://en.wikipedia.org/wiki/Web_scraping 。

1.1 准备工作

通过点击页面右上角的“查看历史”链接，可以访问该页面的编辑历史。同时，我们可以通过在 URL 中添加参数来指定每页显示的编辑数量。例如，以下 URL 可以获取最近 500 条编辑记录：

https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history

1.2 操作步骤

执行数据抓取的代码位于 08/02_geocode_wikipedia_edits.py 脚本文件中。运行该脚本会产生如下输出（截取前几个地理 IP 信息）：

Reading page:
https://en.wikipedia.org/w/index.