16、数据搜索、挖掘与可视化实战

数据搜索、挖掘与可视化实战

1. 维基百科网页编辑IP地址抓取

我们将对维基百科上的网页抓取页面（https://en.wikipedia.org/wiki/Web_scraping ）的编辑记录进行研究。通过点击页面右上角的“查看历史”链接，能够查看该页面的编辑历史。在页面源代码中，可利用 mw-userling mw-anonuserlink 类来识别匿名编辑条目。

此外，还能通过在URL中添加参数来指定每页显示的编辑数量。例如，以下URL能获取最近的500条编辑记录：

https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history

这样，我们只需抓取一个包含500条编辑记录的页面，而无需逐个抓取多个页面。

操作步骤如下：
1. 执行脚本 08/02_geocode_wikipedia_edits.py ，运行该脚本会产生如下输出（截取前几个地理IP信息）：

Reading page:
https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history
Got 106 ip addresses
{'ip': '2601:647:4