16、数据搜索、挖掘与可视化实战

数据搜索、挖掘与可视化实战

1. 维基百科网页编辑IP地址抓取

我们将研究维基百科上网络抓取页面的编辑情况，该页面链接为：https://en.wikipedia.org/wiki/Web_scraping 。在页面右上角有“查看历史”标签，点击该链接可查看编辑历史。

我们可以通过在URL中添加参数来指定每页显示的编辑数量，例如以下URL可获取最近500条编辑记录：

https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history

执行抓取的代码在脚本文件 08/02_geocode_wikipedia_edits.py 中，运行该脚本会有如下输出（截取前几个地理IP信息）：

Reading page:
https://en.wikipedia.org/w/index.php?title=Web_scraping&offset=&limit=500&action=history
Got 106 ip addresses
{'ip': '2601:647:4a04:86d0:1cdf:8f8a:5ca5:76a0', 'country_code': 'US', 'country_name': 'United States', 'region_code': 'CA', 'region_name': 'Cal