百度地图爬虫

百度地图爬虫

工具：Pycharm，win10，Python3.6.4

1.需求分析

上面是我们正常打开百度地图看到的画面，我们只需要在输入框输入我们想查找的东西就能获取到相应信息，今天我们要获取每个地区的养老院的数量。我们随便输入一个地区，如上海徐汇区。

网页中打开开发者选项，就能看到返回的json数据中的total数量。这就是我们要获取的养老院的数量。注意这里是get请求，我们可以看到参数比较多，但是变化的主要是keyword。

2.数据准备

我们要的是全国各城市各个地级市的养老院的数量，所以得事先准备一份excel表，表格内容如下：

3.爬虫思路

首先读取excel文件获取地区列表，然后将地区与养老院拼接成一个关键字，加入参数中获取url。获得的html是json数据，解析json获取数据写入excel。

代码如下