安装scrapy-Redis

最新推荐文章于 2024-05-31 14:51:40 发布

原创最新推荐文章于 2024-05-31 14:51:40 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

系统配置同时被 2 个专栏收录

43 篇文章

订阅专栏

爬虫开发学习

33 篇文章

订阅专栏

本文介绍如何将Scrapy爬虫框架与Redis数据库结合使用，包括安装Scrapy-Redis组件、配置Scrapy以使用Redis作为任务队列以及具体实现代码示例。

redis把数据保存在内存

MongoDB把数据保存在硬盘

pip install scrapy-redis

easy_install scrapy-redis

或者下载安装包下载。

scrapy 配置redis，在settings.py文件中配置redis

默认端口6379

#-*-coding:utf8-*-

from scrapy_redis.spiders import RedisSpider
from scrapy.selector import Selector
from scrapy.http import Request
from novelspider.items import NovelspiderItem
import re

class novSpider(RedisSpider):
    name = "novspider"
    redis_key = 'nvospider:start_urls'
    start_urls = ['http://www.daomubiji.com/'
                  #'http://www.daomubiji.com/qi-xing-lu-wang-01.html'
                  ]

    def parse(self,response):
        selector = Selector(response)
        table = selector.xpath('//table')