Python网络爬虫案例:百度地图API
使用百度API获取数据的实践案例,涉及的技术包括:
- 爬取网页:使用Requests请求百度地图API地址
- 解析网页:提取json数据
- 存储数据:存储至MySQL数据库
1.项目描述
通过百度地图web服务API获取中国所有城市的公园数据,并且获取每一个公园具体的评分、描述等详情,最终将数据存储到MySQL数据库中。
百度地图API的URL为:http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi
网站爬虫除了可以直接进入该网站的网页进行抓取外,还可以通过网站提供的API进行抓取。
2.获取API密钥
登录百度账号,创建应用,并在IP白名单的文本框中填写0.0.0.0/0,表示不想对IP做任何限制。
3.项目实施
本项目的实施分为三个步骤:
(1)获取所有拥有公园的城市,并存储到TXT
(2)获取所有城市的公园数据,并存储到MySQL
(3)获取所有公园的详细信息,并存储到MySQL
在百度地图API中,如果需要获取数据,向指定的URL地址发送一个GET请求即可。