小胖_@的博客

文章目录Gerapy分布式爬虫管理框架一、介绍二、gerapy的初始化配置1. 安装gerapy2. 检测gerapy是否可用3. 初始化gerapy4. 进入scrapyd目录，执行gerapy数据化的初始化，建立相关的数据库表。5. 在gerapy目录下，启动gerapy服务，默认端口80006. 打开浏览器，输入：http://localhost:8000，可以看到 Gerapy 的主界面三...

scrapyd 部署爬虫项目准备工作安装scrapyd==1.2.0pip install scrapyd安装scrapyd-client==1.2.0a1pip install scrapyd-clienttwisted版本为17.1.0Twisted-17.1.0-cp36-cp36m-win_amd64.whl下载地址：链接：https://pan.ba...

scrapy框架中的常用日志配置LOG_FILE : 日志输出文件，如果为None，日志信息会打印在控制台；LOG_ENABLED : 是否启用日志，默认True；LOG_ENCODING : 日志编码，默认utf-8；LOG_LEVEL : 日志等级，默认debug；LOG_FORMAT : 日志格式；LOG_DATEFORMAT : 日志日期格式；LOG_STDOUT : 日志...

redis分布式介绍什么是分布式一个系统分为很多个子系统，这些子系统相互配合完成整个的业务逻辑叫做分布式，分布式中每一个节点都可以配置集群。Redis 是一个基于内存的高性能key-value数据库。redis 特点和优势（1）特点：Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据...