- 博客(3)
- 收藏
- 关注
RSS订阅原创 用scrapy和selenium爬取ajax加载的页面
使用爬虫爬取数据的过程中经常为遇到ajax加载的页面，比如 豆瓣科幻类电影排行，小米手机详情页 这个时候就需要用selenium来模拟浏览器进行自动下拉滑块，用来实现页面加载，再用xpath选取需要爬取的内容 代码如下以小米手机详情页为例： 1、创建scrapy 2、爬虫代码 import scrapy class XqSpider(scrapy.Spider): name = 'xq' ...
2019-08-27 22:57:39
901
1
原创 python基础面试题代码板块（不定时更新）
1.输入年月日，查看是当年的第几天 import datetime def one_day(year,month,day): date1 = datetime.date(year=year,month=month,day=day) date2 = datetime.date(year=year,month=1,day=1) return (date1 - date2)...
2019-08-27 22:55:57
182
原创 python查询文章中的高频词汇
英文文章中查询 def repeatNum(filename): with open(filename)as f: word_dict={} for i in f: i.strip() word_list = i.split() for j in word_list: ...
2019-08-08 17:48:59
3825
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人