Python爬虫实战—爬取上海市充电站地理位置,并利用百度地图API可视化

本文介绍了如何使用Python爬虫爬取上海市充电站的地理位置信息,通过selenium应对反爬策略,从网页iframe中提取数据。接着利用百度地图API将地址转换为经纬度,对无法定位的地址返回(0,0)。最后,通过百度地图的海量点工具将数据可视化。完成这些步骤需要开发者在百度地图API中注册并获取AK。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.前言

由于本科毕设做相关问题,需要充电站位置分布,因此顺带爬取了一下分布。主要库:requests pyquery,还有selenium

2. 爬取充电站地理位置

目前我只找了这个网址可以读取全部充电站位置的,其他只能搜索个别充电站,难以爬取全部充电站。

一开始的时候对网页进行爬取,很轻松就得到了内容,但打印出来发现并没有我们想要的信息,都是一些琐碎的文字。于是想到应该是有反爬处理,仔细看了一下代码,发现了一个“iframe”,也是一个常见的反爬手段。

这里比较好的方法就是使用selenium,用switch进入这个frame然后把内容爬出来。

import requests
import re
from pyquery import PyQuery as pq
from selenium import webdriver

browser = webdriver.Chrome(r'。。。')
kv = {
   
   'user-agent':'Mozilla/5.0'}
url = "http://admin.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?"
latter = "name=上海"
browser.get(url+latter)
browser.switch_to.frame
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值