scrapy-redis 分布式爬虫爬取前程无忧的岗位数据
1.爬取思路进入’https://jobs.51job.com/zhongshan/p1/'页面,分页进行爬取,每一页中获取所有招聘岗位详情的URL2.创建项目scrapy startproject pingcd pingscrapy genspider ping 'jobs.51job.com'3. 编辑需要爬取的数据字段import scrapyclass ZhaopingItem(scrapy.Item): # define the fields for your ite
原创
2020-07-12 07:39:22 ·
583 阅读 ·
3 评论