django 数据库连接模块解析及简单长连接改造

最新推荐文章于 2022-06-12 17:45:50 发布

原创最新推荐文章于 2022-06-12 17:45:50 发布 · 827 阅读

1 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

34 篇文章

订阅专栏

本文探讨了django数据库连接模块，特别是在线程池中如何处理数据库连接的问题。由于数据库默认的最大连接时间限制，通常需要在每个任务完成后关闭连接。然而，对于频繁数据库交互的业务，采用长连接更为高效。文章通过分析django的connections和connection，提出了在线程池中使用长连接的策略，以避免频繁创建和关闭连接，提高效率。

django 数据库连接模块解析及简单长连接改造

工作中纯服务端的项目用到了线程池和django的ORM部分。django 的数据库连接在每一个线程中开启一份，并在查询完毕后自动关闭连接。

线程池处理任务时，正常使用的连接中不会被关闭，但由于数据库端有最长连接时间的限制（默认为8小时），在超时后会发生InterfaceError: (0, '')(连接关闭后使用连接/游标)或Error(2006, 'MySQL server has gone away')（mysql 服务器主动关闭连接）这类错误，所以一般会在每个任务线程中调用django.db.connection.close()进行关闭操作。

但对于频繁进行数据库连接并操作数据库的业务，反复创建连接并不是好的选择，这种场景下可以考虑将连接改造为长连接。

1. django 代码的阅读笔记

django.db.__init__.py 
#对象：
connections = ConnectionHandler()
connection = DefaultConnectionProxy()
# 函数
# 重置查询记录缓存
def reset_queries(**kwargs):
    pass
# 关闭不可用或超时(如果有设置 CONN_MAX_AGE)连接
def close_old_connections(**kwargs):
    pass
# 信号
# 在请求开始或完成时自动调用相应处理函数
signals.request_started.connect(reset_queries)
signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)

重点是connections和connection两个实例
connections 是 ConnectionHandler类
connections.all()会给出一个列表，里面的元素为DatabaseWrapper类
ConnectionHandler内置对象及连接管理：

def __init__()：
    self._connections = local()

# 连接包装类里的连接是根据配置情况使用相应的连接
def __getitem__(self, alias):
    '''略'''
    db = self.databases[alias]
    backend = load_backend(db['ENGINE'])
    conn = backend.DatabaseWrapper(db, alias)
    setattr(self._connections, alias, conn)

# 返回所管理的数据库连接
# 管理方式：分数据库，线程管理连接  
def all(self):
    return [self[alias] for alias in self]

# 关闭所有数据库连接
def close_all(self):
    for alias in self:
        try:
            connection = getattr(self._connections, alias)
        except AttributeError:
            continue
        connection.close()

connection.connection = '被包装的pymysql.connections.Connection实例`
connection.close_at = None if max_age is None else time.time() + max_age    # 设置的连接关闭时间

connection.connect()# 获取连接
connection.cursor() # 获取游标
connection.close()# 关闭连接

if not db.connection.connection or db.connection.close_at < time.time():
    db.connection.close()
    db.connection.connect()
    db.connection.close_at = time.time()  +  max_age
    print "A new conn creates !"
else:
    print "Still old conn!"

这样每个线程池中的线程会循环执行任务并只使用同一个连接，并可以控制在自己需要的连接时长后更换连接。
针对线程池的情况，close_old_connections基本没啥用处, 可以跳过该处理
django.db.close_old_connections = lambda **kwargs : None