高德poi获取之矩形搜索法(冲出900条限制)

前言

据说高德POI的尽头是多边形搜索法，今天下午也是简单试了一下。

高德poi的获取有四种基本方法，其中关键词搜索法已经在博客Python获取高德POI(关键词搜索法)，许多基本的知识也在上文中详细赘述了，如果是没有基础的朋友建议先看完关键词搜索法，这有助于您看懂这篇文章。

---

查看API接口

高德地图的开放平台提供了四种poi获取的接口：

1. 关键字搜索： 通过用POI的关键字进行条件搜索，例如：肯德基、朝阳公园等；同时支持设置POI类型搜索，例如：银行
2. 周边搜索： 在用户传入经纬度坐标点附近，在设定的范围内，按照关键字或POI类型搜索；
3. 多边形搜索： 在多边形区域内进行搜索
4. ID查询： 通过POI ID，查询某个POI详情，建议可同输入提示API配合使用

那么我们这次要使用的是多边形搜索法，而且用的是矩形来获取poi。通过查看多边形搜索法的使用说明，我们可以知道，如果要使用这个多边形搜索法，我们必须提注意以下几个地方：

1. 提供多边形的坐标对。形如：112.953161,23.935966为一个坐标对，由经纬度构成
2. 坐标对之间用“|”进行分割，坐标对按照经度在前、纬度在后的方式提供，且经纬度之间用逗号隔开。
3. 当区域为矩形的时候，只需要提供左上右下两个顶点坐标。

---

基本思想

那么了解完这个API的使用，我们就可以开始动手构思如何对区域进行切分。
在搜索完网上的一些多边形搜索法之后，不外乎以下两种：

1. 通过用户提供的长度将多边形进行格网化，然后遍历每个格子内的poi。
2. 通过四叉树的方法将区域不断切分成四个子矩形，当矩形内poi数量小于900的时候直接获取poi；当矩形内poi数量大于900的时候对该矩形继续切分，直至每个子矩形内的poi数量都小于900.

优缺点：
第一种格网化的方法是相对简单，只需要将区域的长和宽进行n等分，通过遍历来实现获取poi，但缺点也很明显，长度的大小由用户自己定义，当长度太小的时候，需要遍历的格网数量几何级增加，长度太大的时候不难保证poi的完整性。
第二种方法是运用递归的方法，矩形切分的大小由区域内poi的数量来控制，既能保证poi的完整，又免去设置区域大小的麻烦。缺点在于由于是矩形搜索，因此获取的poi难免会有超过目标区域的地方，需要后期用GIS的手段进行裁剪。

实现过程

引入我们需要的库

#库的说明
1.requests --爬虫常用库
2.json  --该库能够帮我们处理高德返回的JSON格式的数据
3.Coordin_transformlat -- 这个是自己写的一个坐标转换的库，其目的是为了解决开头说的坐标偏移的问题
4.csv --这个是将poi点最终保存为csv文件所使用的库

#引入所需的库
import requests
import json
import csv
from Coordin_transformlat import gcj02towgs84

---

构建一次举手函数

通过刚刚查看的多边形的API可以知道，如果我们要请求数据，那么需要填写的关键参数有以下几个：

key:高德地图的密钥
polygon：经纬度坐标对
keywords或types：关键词或者poi分类
page：表示当前页数，用于控制举手的次数

所以我们一共有四个参数需要设置。
Tips： 我们还是可以运用关键词搜索法里的思想，将这个过程理解成举手向老师索取数据，举一次手老师给你20条数据，跟关键词搜索法不同的地方在于，这个举手函数里用的API是多边形搜索法。

def Get_poi_polygon(key,polygon,keywords,page):
    '''
    这是一个能够从高德地图获取poi数据的函数
    key：为用户申请的高德密钥
    polygon：目标区域的坐标对，默认是list格式，按照[左上经度，左上纬度，右下经度，右下纬度]的顺序输入
    keywords：POI数据的类型
    page：当前页数
    '''
    #设置header
    header = {
   
   'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"}

    #将输进来的矩形进行格式化
    Polygonstr = str(polygon[0]) + ',' + str(polygon[1]) + '|' + str(polygon[2]) + ',' + str(polygon[3])

    #构建url
    url = 'https://restapi.amap.com/v3/place/polygon?polygon={}&key={}&keywords={}&page={}'.format(Polygonstr, key, keywords, page)
    

    #用get函数请求数据
    r = requests.get(url, headers=header)

    #设置数据的编码为'utf-8'
    r.encoding = 'utf-8'

    # 将请求得到的数据按照'utf-8'编码成字符串
    data = r.text
    return data

在上面的代码里，唯一需要注意的地方是需要对用户输入进来的坐标对进行格式化，因为用户输入的坐标对通常是浮点型的，但这个坐标对我们需要拼接到url里，因此我们需要将其转换成字符型，因此在url之前需要进行这个格式化。

---

构建多次举手函数

上面的函数是一次举手的函数，那么下面我们需要通过次数来实现爬取一个区域内的所有poi。
刚刚上文说到可以通过page来控制举手的次数，那么利用高德地图每次返回的页数最多包含20条记录的特点，通过判断当前页数page下的count是否为0来实现控制次数。

这里面代码的书写与上一篇大有不同，原因在于以下地方：
需要通过传入的矩形，来判断当前区域内poi的数量是否大于800，如果大于800，需要返回一个值，方便我们继续对区域进行切分。如果小于800，我们就直接将数据写入csv中，因此我也是在这个函数里直接调用了写入数据的函数。

def Get_times_polygon(key,polygon,keywords):
    '''
    这是一个控制Get_poi_polygon申请次数的函数
    '''
    page = 1
    # 执行以下代码，直到count为0的时候跳出循环
    while True:
        # 调用第一个函数来获取数据
        result = Get_poi_polygon(key,polygon, keywords, page)
        # json.loads可以对获取回来JSON格式的数据进行解码
        content = json