D先生的博客

redis概述redis是一种支持分布式的nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档：http://redisdoc.com/index.htmlredis使...

Scrapy-Redis分布式爬虫组件Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。分布式爬虫的优点可以充分利用多台机器的带宽。可以充分利用多台...

安装redis下载安装包wget http://download.redis.io/releases/redis-4.0.6.tar.gz解压压缩包tar -zxvf redis-4.0.6.tar.gzyum安装gcc依赖yum install gcc进入redis解压目录下，编译安装cd redis-4.0.6# 编译make MALLOC=libc...

安装pip install django-celery构建建项目Django项目django-admin startproject celery_demo先运行一下django项目python manage.py runserver直接运行项目报错和解决报错：django.core.exceptions.ImproperlyConfigured: SQLite 3.8.3 ...

安装 pip install flower启动:celery flower --address=0.0.0.0 --port=555 --broker=xxx --basic_auth=user:passwordcelery flower --address=0.0.0.0 --port=555 --broker=redis://127.0.0.1:6379如果我们在django...

supervisor介绍supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具。可以很方便的监听、启动、停止、重启一个或多个进程。用supervisor管理的进程，当一个进程意外被杀死，supervisor监听到进程死后，会自动将它重启，很方便的做到进程自动恢复的功能，不再需要自己写shell脚本来控制。安装pip ins...