
python爬虫
Horken Kason
朽木自雕
展开
-
python爬虫之静态网页——全国空气质量指数(AQI)爬取
首先爬取地址:http://www.air-level.com/利用的python库,最近最流行的requests,BeautifulSoup。requests:用于下载htmlBeautifulSoup:用于解析下面开始分析:要获取所有城市的aqi,就要进入每个城市的单独链接,而这些链接可以从主页中获取打开主网页,查看源代码,可以看到,所有的城市链接都在id=‘cityl...原创 2018-06-11 22:49:39 · 10657 阅读 · 2 评论 -
用python爬取杭电oj的数据
暑假集训主要是在杭电oj上面刷题,白天与算法作斗争,晚上望干点自己喜欢的事情!首先,确定要爬取哪些数据:如上图所示,题目ID,名称,accepted,submissions,都很有用。查看源代码知:所有的数据都在一个script标签里面。思路:用beautifulsoup找到这个标签,然后用正则表达式提取。话不多说,上数据爬取的代码:import reques...原创 2018-08-21 19:48:12 · 1331 阅读 · 0 评论