柳小葱的博客

突然接到了老师的任务需要公交站点数据画图，结果找了半天都没找数据，索性就自己爬取吧。查网上的资料发现主要分为两个部分：首先获取站点信息根据地图匹配站点信息知道了这些就开始吧！1.首先是获取所有站点的信息我们主要从这里: 车站信息.获取车站信息。我这里获取的是上行车辆信息。但代码中还包含下行车辆的代码。import requestsfrom lxml import etreeimport pandas as pd# 列表用来保存所有公交信息items = []data22=pd.D

复习了xpath,感觉还是熟悉的感觉。上次爬了微博爬了贴吧，这次就用xpath爬个豆瓣图书数据，作为学习时间序列的数据吧！面向对象编程爬取1.把自己要做的事情分类 #获取url的规律组成url_list #遍历，获取请求，获得响应 #爬取数据 #保存数据 2.导包，初始化类import requestsfrom lxml import etreeimport csvclass doubanspider: def __init__(self):