个人笔记
关注
分享
扫一扫
虔诚XY
一个学生，边学习，边成长，取长补短，不断完善自己，喜欢编程，喜欢计算机
展开
-
scrapy爬取斗鱼图片并且重命名后保存
斗鱼的api为： http://capi.douyucdn.cn/api/v1/live?limit=20&offset=0 建立一个scrapy爬虫 douyu.py import json import scrapy from Douyu.items import DouyuItem class DouyuSpider(scrapy.Spider): name...原创 2019-10-12 10:58:53 · 393 阅读 · 0 评论 -
Scrapy 的 pipelines
Scrapy分页爬取广州ZF新闻页信息 scrapy的核心代码，爬虫部分 class TencentSpider(scrapy.Spider): name = 'tencent' # urls里可以同时放入多个网页 # def start_requests(self): # urls = [ # 'http://www....原创 2019-10-12 08:44:26 · 153 阅读 · 0 评论