SQLAlchemy性能优化：短查询场景下的不同实现方式对比-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00443/article/details/148415617

SQLAlchemy性能优化：短查询场景下的不同实现方式对比

sqlalchemy The Database Toolkit for Python 项目地址: https://gitcode.com/gh_mirrors/sq/sqlalchemy

概述

本文基于SQLAlchemy项目中的性能测试示例，深入分析在短查询场景下（即通过主键查询单条记录）不同实现方式的性能差异。SQLAlchemy作为Python中最流行的ORM工具之一，提供了多种查询数据的方式，每种方式在性能上都有其特点和适用场景。

测试环境搭建

测试用例中定义了一个简单的Customer模型，包含多个字段（包括延迟加载字段）。测试前会创建11000条测试数据，然后对以下查询方式进行性能测试：

class Customer(Base):
    __tablename__ = "customer"
    id = Column(Integer, Identity(), primary_key=True)
    name = Column(String(255))
    description = Column(String(255))
    q = Column(Integer)
    p = Column(Integer)
    x = deferred(Column(Integer))  # 延迟加载字段
    y = deferred(Column(Integer))  # 延迟加载字段
    z = deferred(Column(Integer))  # 延迟加载字段

测试方法详解

1. 传统ORM查询方式

def test_orm_query_classic_style(n):
    session = Session(bind=engine)
    for id_ in random.sample(ids, n):
        session.query(Customer).filter(Customer.id == id_).one()

这是SQLAlchemy最传统的查询方式，使用session.query()方法构建查询。这种方式简单直观，但在性能上可能不是最优选择。

2. 新式ORM查询方式

def test_orm_query_new_style(n):
    session = Session(bind=engine)
    for id_ in random.sample(ids, n):
        stmt = future_select(Customer).where(Customer.id == id_)
        session.execute(stmt).scalar_one()

使用SQLAlchemy 2.0风格的新式查询API，future_select()方法构建查询语句。这种方式更符合现代Python风格，也是SQLAlchemy未来的发展方向。

3. 使用Lambda表达式的新式查询

def test_orm_query_new_style_using_embedded_lambdas(n):
    session = Session(bind=engine)
    for id_ in random.sample(ids, n):
        stmt = future_select(lambda: Customer).where(
            lambda: Customer.id == id_
        )
        session.execute(stmt).scalar_one()

Lambda表达式方式可以延迟SQL的构建，在某些场景下可能带来性能优势，特别是当查询条件复杂时。

4. 仅查询部分列

def test_orm_query_classic_style_cols_only(n):
    session = Session(bind=engine)
    for id_ in random.sample(ids, n):
        session.query(Customer.id, Customer.name, Customer.description).filter(
            Customer.id == id_
        ).one()

只查询需要的列而不是整个实体，这在只需要部分字段时可以显著减少数据传输量，提高性能。

5. Baked Query技术

def test_baked_query(n):
    bakery = baked.bakery()
    s = Session(bind=engine)
    for id_ in random.sample(ids, n):
        q = bakery(lambda s: s.query(Customer))
        q += lambda q: q.filter(Customer.id == bindparam("id"))
        q(s).params(id=id_).one()

Baked Query是SQLAlchemy提供的一种查询缓存技术，可以避免重复构建查询的开销，特别适合在循环中执行相似查询的场景。

6. 核心层(Core)查询方式

def test_core_new_stmt_each_time(n):
    with engine.connect() as conn:
        for id_ in random.sample(ids, n):
            stmt = select(Customer.__table__).where(Customer.id == id_)
            row = conn.execute(stmt).first()
            tuple(row)

直接使用SQLAlchemy Core层API，绕过ORM层，通常能获得更好的性能，但失去了ORM的便利性。