大白成长记

启动gerapy服务 首先需要保证Python环境中有gerpay包 没有的话可以使用pip install gerapy安装（文中所做操作均在Windows系统中） 在cmd命令行工具中输入gerapy，这一步其实非必要，只是让你知道gerapy中的命令 给出的提示信息中是你可以执行的命令 接下来在命令行中输入gerapy init 执行之后你会看到没有任何提示信息，但会在当前...

    部署scrapy项目到scrapyd服务上可以使用gerapy，很方便，而手动部署scrapy爬虫项目虽然相对要繁琐一些，但会让我们知道gerapy每一步是做了什么。建议使用虚拟环境，原因在于（1）可以在系统的Python解释器中避免包的混乱和版本的冲突（2）保持全局解释器的干净整洁，使其只作为创建更多虚拟环境的源。（3）不需要管理员权限启动scrapyd服务，就会在当前工作目录下保存所部...

  要实现分布式，主机之间需要共享爬取队列和去冲击和，scrapy_redis就是将request调度队列、请求队列和获取的item放在了一个多台主机可以同时访问的Redis数据库中。 配置   剖析源码的工作请根据需要自行学习，直接给出settings中的配置。 一、必要配置 以下配置是scrapy_redis实现分布式的核心 1. 配置调度器和去重类 这个选项是必须要进行配置的...