ctu_sue的博客

在日常爬虫中，很多网站都出现了反爬虫，一是模拟登陆可以解决，还有一种是同一个IP无法访问多次，因此我们需要有自己的代理IP池并自动清除和补充代理IP池。

本文基于爬虫的方式基于百度地图的接口查询地址。

鉴于网上以及视频教材很多都是直接用cookie写到了headers中，这样验证是会过期的，我这里直接模拟浏览器请求。物联网平台爬虫应用，账号是内部的账号，因此没有账号的可以学习思路，有账号的可以考虑实战爬虫。物联网平台的爬虫主要获取一些数据表格，主要是传感器的数据，包括：时间、风速、雨量、大气温度、日雨量累计、数字气压、紫外线、风向、负氧离子、大气湿度等数据如图，本次取数内容为一下内容：从入口到查询等步骤可以分析，此爬虫比较简单，只需要把用户名和密码直接传递进去即可，不存在验证码等问题。

内部系统小程序后台爬虫应用，因此没有账号的可以学习思路，有账号的可以考虑实战爬虫。