A_fool_Program_ape的博客

基于Scrapy_redis部署scrapy分布式爬虫 1.使用命令行工具下载工具包 scrapy_redis（若是虚拟环境可下载在虚拟环境中） 2.准备一个写好的没有错误的爬虫项目（这里以51job为例） 3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器 4.修改spider爬虫文件  5.如果连接的有远程服务,例如...

Redis简介 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。 Redis 与其他 key - value 缓存产品...