python+scrapy爬取斗鱼图片

最新推荐文章于 2021-05-26 22:37:30 发布

浩瀚云海

最新推荐文章于 2021-05-26 22:37:30 发布

阅读量532

点赞数

CC 4.0 BY-SA版权

分类专栏： python 爬虫 scrapy 文章标签： python scrapy 爬虫下载图片

本文链接：https://blog.youkuaiyun.com/qq_35723619/article/details/83616366

python 同时被 3 个专栏收录

28 篇文章

订阅专栏

爬虫

17 篇文章

订阅专栏

scrapy

5 篇文章

订阅专栏

本文介绍如何使用Scrapy框架爬取斗鱼直播平台的美女主播信息，包括昵称和头像链接。通过创建Spider类，解析JSON数据包，并利用自定义的ImagePipeline处理图片下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建scrapy的项目请参考：https://blog.youkuaiyun.com/qq_35723619/article/details/83614670

items的实现：

DouyumeinvSpider创建：
这次我们爬去的是json数据包：我们可以通过network监控：

# -*- coding: utf-8 -*-
import scrapy
import json
from douyu.items import DouyuItem


class DouyumeinvSpider(scrapy.Spider):
    name = 'douyumeinv'
    allowed_domains = ['capi.douyucdn.cn']
    offset = 0
    url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset="

    start_urls = [url + str(offset)]

    def parse(self, response):
        data = json.loads(response.text)['data']
        for each in data:
            item = DouyuItem()
            item['name'] = each['nickname']
            item['imglink'] = each['vertical_src']
            yield item

        self.offset += 20
        yield scrapy.Request(self.url + str(self.offset), callback=self.parse)

配置setting

创建ImagePipeline我们这里继承了scrapy处理图片的ImagesPipeline重新构建

get_media_requests(self, item, info)和item_completed(self, results, item, info)方法

运行结果：

谢谢浏览！！！！