Scrapy-redis分布式爬虫

本文介绍如何使用Scrapy框架结合Redis实现分布式爬虫。通过修改配置文件及爬虫类继承方式,将原有的单机爬虫升级为分布式爬虫,并详细展示了myspider_redis.py和mycrawler_redis.py两个示例代码。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

分布式爬虫步骤:
1.先用scrapy写出爬虫项目
2.redis 服务器
3.把原来单机版改成分布式
a 修改settings
b 修改爬虫类 继承
from scrapy_redis.spiders import RedisSpider —– spider
from scrapy_redis.spiders import RedisCrawlSpider —–crawlspider
c 设置 redis-key
d 启动所有slave (所有爬虫终端)
e 向master端的redis里 push数据(起始url)
lpush redis-key url

myspider_redis.py版本

#coding:utf8
from scrapy_redis.spiders import RedisSpider

class MySpider(RedisSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'myspider_redis'
    # 请求队列的键
    redis_key = 'myspider:start_urls'
    allow_domain = ['hao123.com']

    def parse(self, response):
        return {
            'name': response.css('title::text').extract_first(),
            'url': response.url,
        }

manage.py:

from scrapy import cmdline
import os
os.chdir('example/spiders')
cmdline.execute('scrapy runspider mycrawler_redis.py'.split())
redis-cli -h 192.168.6.6
lpush myspider:start_urls http://www.baidu.com
llen myspider:start_urls

mycrawler_redis.py版本

#coding:utf8
from scrapy.spiders import Rule # 按照规则提取url
from scrapy.linkextractors import LinkExtractor  # 生成请求

from scrapy_redis.spiders import RedisCrawlSpider


class MyCrawler(RedisCrawlSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'mycrawler_redis'
    redis_key = 'mycrawler:start_urls'
    allowed_domains = ['itxdl.cn']

    rules = (
        # follow all links
        Rule(LinkExtractor(), callback='parse_page', follow=True),
    )

    def parse_page(self, response):
        return {
            'name': response.css('title::text').extract_first(),
            'url': response.url,
        }
lpush mycrawler:start_urls http://www.baidu.com
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值