SQLAlchemy 大型结果集性能优化实战指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00459/article/details/148415611

SQLAlchemy 大型结果集性能优化实战指南

sqlalchemy The Database Toolkit for Python 项目地址: https://gitcode.com/gh_mirrors/sq/sqlalchemy

引言

在数据库应用开发中，处理大型结果集是一个常见的性能挑战。SQLAlchemy 作为 Python 中强大的 ORM 和 SQL 工具包，提供了多种处理大型结果集的方法。本文将通过一个性能测试案例，深入分析不同数据加载方式的性能差异，帮助开发者选择最适合自己场景的数据加载策略。

测试场景概述

本测试模拟了一个包含 50 万条简单记录的客户表(Customer)，每条记录包含 ID、名称和描述三个字段。测试对比了多种数据加载方式的性能表现：

完全跟踪的 ORM 对象加载
分块加载 ORM 对象
使用 ORM Bundle 轻量级加载
加载 ORM 列到命名元组
使用 Core 的不同获取方式
直接使用 DBAPI 的原始操作

测试方法详解

1. 完全跟踪的 ORM 对象加载

def test_orm_full_objects_list(n):
    sess = Session(engine)
    list(sess.query(Customer).limit(n))

这是最直接的 ORM 使用方式，将所有结果一次性加载到内存中并转换为完整的 ORM 对象。虽然简单，但对于大型结果集来说，内存消耗和性能开销都较大。

2. 分块加载 ORM 对象

def test_orm_full_objects_chunks(n):
    sess = Session(engine)
    for obj in sess.query(Customer).yield_per(1000).limit(n):
        pass

使用 yield_per() 方法可以分块获取结果，每次只处理一部分数据，显著降低内存峰值使用量。适合需要处理完整 ORM 对象但内存有限的情况。

3. 使用 ORM Bundle 轻量级加载

def test_orm_bundles(n):
    bundle = Bundle("customer", Customer.id, Customer.name, Customer.description)
    for row in sess.query(bundle).yield_per(10000).limit(n):
        pass

Bundle 提供了一种轻量级的 ORM 查询方式，返回简单的字典结构而非完整 ORM 对象，减少了对象初始化的开销。

4. 加载 ORM 列到命名元组

def test_orm_columns(n):
    for row in sess.query(Customer.id, Customer.name, Customer.description).yield_per(10000).limit(n):
        pass

直接查询特定列并返回命名元组，比完整 ORM 对象更轻量，同时保留了列名的访问能力。

5. Core 层级的各种获取方式

SQLAlchemy Core 提供了多种结果获取方式：

fetchall(): 一次性获取所有结果
fetchmany(): 分批获取结果
stream_results: 流式结果集选项
mappings(): 返回字典形式的结果

# fetchall 示例
result = conn.execute(Customer.__table__.select().limit(n)).fetchall()

# fetchmany 示例
while True:
    chunk = result.fetchmany(10000)
    if not chunk:
        break
    # 处理chunk

# 流式结果示例
result = conn.execution_options(stream_results=True).execute(...)

6. 直接使用 DBAPI 原始操作

def _test_dbapi_raw(n, make_objects):
    conn = engine.raw_connection()
    cursor = conn.cursor()
    cursor.execute(sql)
    
    if make_objects:
        for row in cursor.fetchall():
            SimpleCustomer(id_=row[0], name=row[1], description=row[2])
    else:
        for row in cursor.fetchall():
            row[0], row[1], row[2]

直接使用底层 DBAPI 可以获得最佳性能，但需要手动处理连接和结果转换，失去了 ORM 的便利性。

性能关键发现

对象创建开销：即使是最简单的 Python 对象创建，也会显著增加处理时间。测试显示，仅获取原始数据与创建简单对象相比，时间开销可能增加一倍以上。
ORM 并非总是慢：SQLAlchemy ORM 的轻量级查询选项(如 Bundle 和列查询)性能接近 Core 层级操作，同时提供了更好的开发体验。
分块处理的价值：对于大型结果集，使用 yield_per() 或 fetchmany() 分块处理可以大幅降低内存使用，同时保持合理的性能。
流式结果集：当处理超大型结果集时，stream_results=True 选项可以避免客户端缓存所有结果，进一步优化内存使用。