爬虫框架
关注
分享
扫一扫
冷暖自知···
人生苦短，我用Python
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Scrapy框架
同步异步 异步：调用在发出之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果 （消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程 scrapy的安装与使用 windows安装方式 pip3 install ipgrade pip 通过pip安装Scrapy框架 pip3 install Scrapy Ubuntu 安装方式 sudo pip3 i...原创 2019-06-11 19:08:54 · 278 阅读 · 0 评论 -
爬虫入门之分布式爬虫
scrapy_redis Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式 安装 pip3 install scrapy-redis 3.要使用分布式 Scrapy_Redis Settings.py设置文件中需要做一下配置 这里表示启用scrapy-redis里的去重组件，不实用scrapy默认的去重 DU...原创 2019-09-19 17:03:43 · 253 阅读 · 0 评论