爬虫
关注
分享
扫一扫
虔诚XY
一个学生，边学习，边成长，取长补短，不断完善自己，喜欢编程，喜欢计算机
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy爬取知乎的中添加代理ip
都是伪代码，不要直接复制，进攻参考 ip都不可以使用，只是我自己写的格式。 zhihu.py proxy_pool = [{'HTTP': '182.253.112.43:8080'}] def start_requests(self): proxy_addr = random.choice(proxy_pool) yield Requ...原创 2019-10-20 09:54:14 · 8467 阅读 · 1 评论 -
scrapy爬取斗鱼图片并且重命名后保存
斗鱼的api为： http://capi.douyucdn.cn/api/v1/live?limit=20&offset=0 建立一个scrapy爬虫 douyu.py import json import scrapy from Douyu.items import DouyuItem class DouyuSpider(scrapy.Spider): name...原创 2019-10-12 10:58:53 · 404 阅读 · 0 评论