feifeiyechuan的博客

1、Scrapy_redis 模块安装 2、Scrapy配置 3、redis安装及配置 4、这才是重点 5、源码： redis 是一个非关系型的数据库，支持分布式处理 Redis 是目前公认的速度最快的基于内存的键值对数据库 Redis 作为临时数据的缓存区，可以充分利用内存的高速读写能力大大提高爬虫爬取效率。 scrapy-redis 是为了更方便地实现 Scrapy 分布...

目录 一、Scrapy框架认识 二、Scrapy框架创建 三、爬虫流程 四、涉及知识点 1、scrapy 中保存文件两种方式： 2、使用Scrapy shell 进行代码的调试 3、settings.py文件介绍 4、 xpath 介绍 5、网址拼接 6、用户名和密码身份验证的代理ip 7、Scrapy 实现异步 8、Scrapy突破反爬虫限制 9、使用FormRequ...