SQLAlchemy 批量插入性能对比分析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00326/article/details/148415605

SQLAlchemy 批量插入性能对比分析

sqlalchemy The Database Toolkit for Python 项目地址: https://gitcode.com/gh_mirrors/sq/sqlalchemy

前言

在数据库操作中，批量插入数据是一个常见的性能优化场景。SQLAlchemy 作为 Python 中强大的 ORM 工具，提供了多种批量插入数据的方式。本文将通过 SQLAlchemy 的示例代码，深入分析不同批量插入方法的性能特点和使用场景。

测试环境准备

示例代码中定义了一个简单的 Customer 模型类，包含 id、name 和 description 三个字段。测试将对比插入 10 万条记录时不同方法的性能表现。

class Customer(Base):
    __tablename__ = "customer"
    id = Column(Integer, Identity(), primary_key=True)
    name = Column(String(255))
    description = Column(String(255))

六种批量插入方法对比

1. 传统 ORM 方式（无主键）

def test_flush_no_pk(n):
    """ORM 批量插入，自动生成主键"""
    session = Session(bind=engine)
    for chunk in range(0, n, 1000):
        session.add_all([...])
        session.flush()
    session.commit()

特点：

使用标准 ORM 工作流程
每次 flush 会生成并执行 SQL
需要数据库返回生成的主键值
性能相对较低，适合小批量数据插入

2. 传统 ORM 方式（指定主键）

def test_flush_pk_given(n):
    """ORM 批量插入，预先指定主键"""
    session = Session(bind=engine)
    for chunk in range(0, n, 1000):
        session.add_all([...])
        session.flush()
    session.commit()

特点：

相比无主键版本性能略好
避免了主键值的获取开销
仍然需要维护 ORM 对象状态

3. ORM 批量插入（不返回对象）

def test_orm_bulk_insert(n):
    """ORM 批量插入，不返回对象"""
    session = Session(bind=engine)
    session.execute(insert(Customer), [...])
    session.commit()

特点：

使用 ORM 的批量插入功能
不返回插入的对象实例
性能优于传统 ORM 方式
适合不需要操作插入后对象的场景

4. ORM 批量插入（返回对象）

def test_orm_insert_returning(n):
    """ORM 批量插入，返回新对象"""
    session = Session(bind=engine)
    customer_result = session.scalars(insert(Customer).returning(Customer), [...])
    customers = customer_result.all()
    session.commit()

特点：

使用 RETURNING 子句获取插入数据
返回完整的 ORM 对象
性能比不返回对象版本稍差
适合需要操作插入后对象的场景

5. 核心层批量插入

def test_core_insert(n):
    """核心层批量插入"""
    with engine.begin() as conn:
        conn.execute(Customer.__table__.insert(), [...])

特点：

绕过 ORM 直接使用核心层
性能优于 ORM 方式
不涉及对象状态管理
适合纯数据插入场景

6. 原始 DBAPI 批量插入

def test_dbapi_raw(n):
    """原始 DBAPI 批量插入"""
    conn = engine.pool._creator()
    cursor = conn.cursor()
    compiled = Customer.__table__.insert().compile(dialect=engine.dialect)
    cursor.executemany(str(compiled), list(args))
    conn.commit()
    conn.close()

特点：