python redis连接数过大_Python中使用Redis遭遇Too many open files

今天服务突然爆出好多异常日志：

ConnectionError: Error 24 connecting to 127.0.0.1:6379. Too many open files.

通过命令cat /proc/(redis-sever_PID)/limits获得

Max open files 4016 4016 files

第一反应是觉得可能4016过小，所以需要对其升值。

编辑/etc/sysctl.conf 添加如下内容：

fs.file-max = 65535

运行sysctl -p

再编辑 /etc/security/limits.conf:

root soft nofile 65536

root hard nofile 65536

* soft nofile 65536

* hard nofile 65536

使用命令ulimit -n 65535，将最大文件数提高至65535，这种修改只是在当前shell中生效，想要真正对Redis中Max open files进行修改，就需要在当前shell中进行重启redis，然后服务就恢复了正常。这种方法其实是治标不治本的

在临时解决异常问题后，需要思考为什么会有这么多未释放的连接。

经过分析，在创建Redis连接时，都会创建一个ConnectionPool。这导致，每获取一个StrictRedis时，都会创建一个新的ConnectionPool，这才是导致文件数过多的原因。

解决方案：

先创建创建一个ConnectionPool

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)

然后创建一个Redis

r = redis.Redis(connection_pool=pool)

修改前的代码

import os

import logging

import redis

logger = logging.getLogger(__name__)

def redis_connect(db=2):

"""

Established an resid connection.

"""

REDIS_HOST = '127.0.0.1'

REDIS_PORT = 6379

REDIS_PWD = None

REDIS_USER = None

redis_client = redis.Redis(host=REDIS_HOST, port=int(

REDIS_PORT), db=db, password=REDIS_PWD, retry_on_timeout=True)

return redis_client

修改后的代码

# coding: utf-8

import os

import logging

import redis

redistogo_url = os.getenv('REDISTOGO_URL', None)

if not redistogo_url:

REDIS_HOST = '127.0.0.1'

REDIS_PORT = 6379

REDIS_PWD = None

REDIS_USER = None

else:

redis_url = redistogo_url

redis_url = redis_url.split('redis://')[1]

redis_url = redis_url.split('/')[0]

REDIS_USER, redis_url = redis_url.split(':', 1)

REDIS_PWD, redis_url = redis_url.split('@', 1)

REDIS_HOST, REDIS_PORT = redis_url.split(':', 1)

pool_2 = redis.ConnectionPool(host=REDIS_HOST, port=int(

REDIS_PORT), db=2, retry_on_timeout=True)

pool_3 = redis.ConnectionPool(host=REDIS_HOST, port=int(

REDIS_PORT), db=3, retry_on_timeout=True)

def redis_connect(db=2):

"""

Established an resid connection.

"""

if db == 2:

redis_client = redis.Redis(connection_pool=pool_2)

if db == 3:

redis_client = redis.Redis(connection_pool=pool_3)

return redis_client