1.前言
由于本科毕设做相关问题,需要充电站位置分布,因此顺带爬取了一下分布。主要库:requests pyquery,还有selenium
2. 爬取充电站地理位置
目前我只找了这个网址可以读取全部充电站位置的,其他只能搜索个别充电站,难以爬取全部充电站。
一开始的时候对网页进行爬取,很轻松就得到了内容,但打印出来发现并没有我们想要的信息,都是一些琐碎的文字。于是想到应该是有反爬处理,仔细看了一下代码,发现了一个“iframe”,也是一个常见的反爬手段。
这里比较好的方法就是使用selenium,用switch进入这个frame然后把内容爬出来。
import requests
import re
from pyquery import PyQuery as pq
from selenium import webdriver
browser = webdriver.Chrome(r'。。。')
kv = {
'user-agent':'Mozilla/5.0'}
url = "http://admin.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?"
latter = "name=上海"
browser.get(url+latter)
browser.switch_to.frame