genius_jiang的博客

1.scrapy和scrapy-redis有什么区别？为什么选择redis数据库？ scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 为什么选...

本文将涉及以下内容： 0. Scrapy安装； 1. 创建Scrapy项目； 2. 写一个spider来爬取网页并提取数据； 3. 用命令行来输出爬到的数据； 4. 修改spider来递归跟踪连接； 5. 使用spider参数； 安装： 如果你是使用Anaconda，可以通过conda-forge通道安装： conda install -c conda-forge scrapy 创建S...