16、数据搜索、挖掘与可视化指南

数据搜索、挖掘与可视化指南

在当今信息爆炸的时代，数据的搜索、挖掘和可视化变得尤为重要。本文将详细介绍如何对维基百科页面的编辑数据进行处理，包括获取地理 IP 信息、可视化编辑者的国家分布、创建词云以及爬取维基百科页面链接并可视化页面关系等内容。

1. 获取维基百科页面编辑的地理 IP 信息

• 准备工作 ：我们将检查维基百科上网络爬虫页面的编辑记录，该页面的链接为：https://en.wikipedia.org/wiki/Web_scraping 。通过点击页面右上角的“查看历史”链接，我们可以访问编辑历史。同时，我们可以通过在 URL 中添加参数来指定每页显示的编辑数量，例如，以下 URL 将显示最近的 500 条编辑记录：https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history 。
• 操作步骤 ：
  1. 运行脚本 08/02_geocode_wikipedia_edits.py ，该脚本将执行数据抓取操作，并输出前几个地理 IP 信息。以下是部分输出示例：

Reading page:
https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history
Got 106