高效数据库索引的准则-PawSQL索引引擎的工作逻辑

 Copyright © 2024 PawSQL

本文介绍索引创建时需遵循一些准则,以达到最佳的查询性能和数据维护效率,这些准则也是PawSQL索引推荐引擎的内部工作逻辑。本文基于最常用的B+树索引来举例,其他索引的使用有一定的限制条件,具体请参考《数据库索引的类型》。

准则1. 基于您的工作负载创建索引


创建高效的索引最重要的原则是,基于您的工作负载(workload)创建索引,而不是基于您的表结构。针对数据库执行的所有 SQL 语句构成了该数据库的工作负载。索引的目的是为了提升数据库中操作的效率,因此任何其他不以工作负载出发的索引创建方法都是错误的。

在针对一个工作负载构建一组索引时,需要考虑工作负载的以下属性:

  • SQL类型,在用户执行频繁插入新数据和修改现有数据的OLTP场景,多个索引可能会对性能产生负面影响,并对系统资源造成压力,建议创建最少数量的索引来满足您的索引要求。而在以查询为主的OLAP场景,您可以添加更多索引,每个索引具有多个键列,甚至可以添加函数索引和条件索引。

  • SQL频率,为最频繁使用的查询创建索引,通过为这些查询创建最好的索引,能够最大限度的提升系统的整体性能。

  • SQL的重要性,查询越重要,您可能越想通过创建索引来进行性能优化。

  • SQL的本身的结构,详见下一章节。

准则2. 基于单个SQL的结构创建索引


索引的作用如下:

  • 快速定位数据

  • 避免排序

  • 避免回表

  • 实现行级锁(MySQL,另文讨论)

  • 实现唯一性约束

本章节我们将通过分析SQL的结构来实现以上的功能,创建高效的索引。

为快速定位创建索引

索引可以通过匹配查询的条件快速的定位数据,查询的条件可能在WHERE子句、HAVING子句、ON子句中。索引和条件的匹配原则遵循最左前缀匹配原则.

最左前缀原则
最左前缀原则指的是,如果查询的时候 等值的查询条件精确匹配索引的左边连续一列或几列,则此列就可以被用到,同时遇到范围查询(>、<、between、like)就会停止匹配,包括范围条件。

对于联合索引lineitem(l_shipdate,l_quantity),下面的SQL中前两个符合最左前缀原则,可以使用该索引。最后一个不满足最左前缀原则,无法使用该索引。

select * from lineitem where l_shipdate = date '2021-12-01' and l_quantity = 100; -- 可以使用索引

select * from lineitem where l_shipdate = date '2021-12-01'; -- 可以使用索引

select * from lineitem where l_quantity = 100; -- 不满足最左前缀原则,无法使用该索引

这三个SQL对于的执行计划如下:

-> Index lookup on lineitem using lidx (L_QUANTITY=100.00, L_SHIPDATE=DATE'2021-12-01') (cost=0.35 rows=1)

-> Index lookup on lineitem using lidx ( L_SHIPDATE=DATE'2021-12-01') (cost=0.35 rows=1)

-> Filter: (lineitem.L_QUANTITY = 100.00) (cost=15208.05 rows=49486)

-> Table scan on lineitem (cost=15208.05 rows=148473)

由于最左前缀原则,在创建联合索引时,索引字段的顺序需要考虑字段值去重之后的个数(Cardinality),Cardinality较大的放前面。

等值条件(Index lookup)
  • 单表等值条件

  • COL = 'A'

  • COL IN ('A')

  • 关联等值条件, 在一个表作为被驱动表时的等值关联条件也可以被认为时等值条件被索引匹配使用。

  • T1.COL = T2.COL

select * from orders, lineitem where o_orderkey = l_orderkey;

-> Nested loop inner join (cost=484815.77 rows=1326500)

-> Table scan on orders (cost=20540.71 rows=200128)

-> Index lookup on lineitem using lineitem_idx(L_ORDERKEY=orders.O_ORDERKEY) (cost=1.66 rows=7)

范围条件(Index range scan)
  • 范围操作符(>,>=,<,<=,BETWEEN)

  • IN ('A','B')

  • IS NOT NULL

  • IS NULL

  • LIKE 'ABC%'

  • COL = 'A' OR COL = 'B'

范围条件也可以用来快速定位数据,

create index lshipdate_idx on lineitem(l_shipdate);

explain format = tree select * from lineitem where l_shipdate >= date '2021-12-01';

-> Index range scan on lineitem using lshipdate_idx over ('2021-12-01' <= L_SHIPDATE), with index condition: (lineitem.L_SHIPDATE >= DATE'2021-12-01') (cost=11855.06 rows=26344)

由于最左匹配原则,位于范围条件后面的索引列无法利用该索引。

为避免排序创建索引

对于B+树索引,由于其是按照索引键排序的,因此可以通过索引来避免在SQL执行中进行排序。涉及的SQL结构主要包括:

  • GROUP BY

  • ORDER BY

  • DISTINCT

  • PARTITION BY... ORDER BY...

create index lshipdate_idx on lineitem(l_shipdate);

可以看到下面的SQL的执行计划通过访问lshipdate_idx索引避免了排序

  • SQL1 (ORDER BY)

select * from lineitem order by l_shipdate limit 10;

  • SQL1执行计划

-> Limit: 10 row(s) (cost=0.02 rows=10)

-> Index scan on lineitem using lshipdate_idx (cost=0.02 rows=10)

  • SQL2(GROUP BY)

select l_shipdate, sum(l_quantity) as sum_qty from lineitem group by l_shipdate;

  • SQL2执行计划

-> Group aggregate: sum(lineitem.L_QUANTITY) (cost=30055.35 rows=148473)

-> Index scan on lineitem using lshipdate_idx (cost=15208.05 rows=148473)

  • SQL3(DISTINCT)

select DISTINCT l_shipdate from lineitem;

  • SQL3执行计划

-> Covering index skip scan for deduplication on lineitem using lshipdate_idx (cost=4954.90 rows=15973)

  • SQL4(PARTITION BY... ORDER BY...)

select rank() over (partition by L_SHIPDATE order by L_ORDERKEY) from lineitem;

  • SQL4执行计划

WindowAgg (cost=0.29..545.28 rows=10000 width=28)

-> Index Only Scan using lshipdate_idx on lineitem (cost=0.29..370.28 rows=10000 width=20)

需要注意:

  1. 对于分组和去重,顺序不一致是没有关系的;

  1. 对于排序,排序字段的顺序需要和索引字段的顺序一致,否则没有办法利用索引来避免排序;

  1. 对于同时有分组和排序的,需要把排序的索引列放在前面。

譬如对于下面的SQL

select l_shipdate, l_orderkey, sum(l_quantity) as sum_qty from lineitem group by l_shipdate,l_orderkey order by l_orderkey;

  • 情形1,建索引(l_shipdate, l_orderkey),索引访问,需排序,代价为486.526

-> Sort: lineitem.L_ORDERKEY (actual time=479.465..486.526 rows=149413 loops=1)

-> Stream results (cost=30055.35 rows=148473) (actual time=0.175..423.447 rows=149413 loops=1)

-> Group aggregate: sum(lineitem.L_QUANTITY) (cost=30055.35 rows=148473) (actual time=0.170..394.978 rows=149413 loops=1)

-> Index scan on lineitem using lshipdate_idx2 (cost=15208.05 rows=148473) (actual time=0.145..359.567 rows=149814 loops=1)

  • 情形2,建索引(l_orderkey,l_shipdate),索引访问,避免排序,代价228.401,性能提升120%

-> Group aggregate: sum(lineitem.L_QUANTITY) (cost=30055.35 rows=148473) (actual time=0.067..228.401 rows=149413 loops=1)

-> Index scan on lineitem using lshipdate_idx3 (cost=15208.05 rows=148473) (actual time=0.052..194.479 rows=149814 loops=1)

为避免回表创建索引(Covering index scan)

当查询中的列都在索引列中时,数据库只需要访问索引即可获取所需的数据,避免了回表操作。在某些场景下,可以大幅的提升查询效率。

对于如下的SQL语句,

select l_shipdate, l_orderkey, sum(l_quantity) as sum_qty from lineitem group by l_orderkey,l_shipdate;

  • 索引(l_orderkey,l_shipdate)中没有包含l_quantity,需要回表,执行计划如下,代价194.875

-> Group aggregate: sum(lineitem.L_QUANTITY) (cost=30055.35 rows=148473) (actual time=0.044..194.875 rows=149413 loops=1)

-> Index scan on lineitem using lshipdate_idx3 (cost=15208.05 rows=148473) (actual time=0.034..159.863 rows=149814 loops=1)

  • 索引(l_orderkey,l_shipdate,l_quantity )中包含l_quantity,不需要回表,执行计划如下,代价113.433,性能提升约71.8%

-> Group aggregate: sum(lineitem.L_QUANTITY) (cost=30055.35 rows=148473) (actual time=0.035..113.433 rows=149413 loops=1)

-> Covering index scan on lineitem using lshipdate_idx4 (cost=15208.05 rows=148473) (actual time=0.026..82.266 rows=149814 loops=1)

其他相关主题

分区表的索引

对于分区表,不同的数据库对分区表索引的支持不一样,总体来说,分区表可以建立以下三种类型的索引

  • 本地分区索引(PostgreSQL/MySQL/Oracle/Opengauss)

  • 全局分区索引(Oracle)

  • 全局非分区索引(Oracle/Opengauss)

本地分区索引

在索引维护性方面,本地索引比全局索引容易管理,当你在进行添加、删除、truncate表分区时,本地索引会自动维护其索引分区。MySQL和PostgreSQL只支持本地分区索引; Oracle和Opengauss创建本地分区索引时需指定关键字local.

create index lshipdate_idx on lineitem(l_shipdate) local;

全局分区索引

和表分区类似,索引的分区键和表的分区键没有必然的关系,甚至非分区表也可以建立全局分区索引。Oracle支持全局分区索引。

全局非分区索引

对于全局非分区索引,当你对表分区进行操作时,索引可能变得不可用,需显式的更新或重建索引。在索引效率方面,全局索引在不包含分区字段的查询中,效率比本地分区索引更高效。Oracle和Opengauss为分区表默认创建的是全局非分区索引。

create index lshipdate_idx on lineitem(l_shipdate) global;

create index lshipdate_idx on lineitem(l_shipdate);

在进行分区操作时,需要增加update global index关键字重建索引,否则索引不可用。

alter table t DROP PARTITION partition_name update global index;

函数索引

函数索引(或表达式索引)即基于函数或表达式的索引,它使用函数或是表达式提供计算好的值作为索引列构建索引,可以在不修改应用程序的情况下提高查询性能。

函数索引的使用需要函数或是表达式和SQL查询中的表达式严格匹配,所以它使用的条件较为严格,适合针对重要查询或是频次较高的查询重点优化。

select * from lineitem where EXTRACT(DAY from l_shipdate) = 1;

  • 建在l_shipdate在执行计划中没有被使用

Seq Scan on lineitem (cost=0.00..1870.24 rows=238 width=158) (actual time=0.502..10.655 rows=1616 loops=1)

Filter: (EXTRACT(day FROM l_commitdate) = '1'::numeric)

Rows Removed by Filter: 46000

Planning Time: 0.107 ms

Execution Time: 10.709 ms

  • 通过创建函数索引,执行计划中的代价降低为原来的1/10.

create index idx on lineitem(EXTRACT(DAY from l_shipdate));

Bitmap Heap Scan on lineitem (cost=6.13..593.60 rows=238 width=158) (actual time=0.216..0.981 rows=1620 loops=1)

Recheck Cond: (EXTRACT(day FROM l_shipdate) = '1'::numeric)

Heap Blocks: exact=889

-> Bitmap Index Scan on idx (cost=0.00..6.08 rows=238 width=0) (actual time=0.149..0.149 rows=1620 loops=1)

Index Cond: (EXTRACT(day FROM l_shipdate) = '1'::numeric)

Planning Time: 0.102 ms

Execution Time: 1.075 ms

条件索引

条件索引又叫部分索引(Partial index),它是建立在一个表的子集上的索引,而该子集是由一个条件表达式定义的,该索引只包含表中那些满足这个条件表达式的行。

条件索引被使用的条件比较严格,只有在数据库能够识别出该查询的WHERE条件在逻辑上涵盖了该索引的条件表达式定义时,这个部分索引才能被用于该查询。

以下的条件索引为例,其索引的条件表达式为l_shipdate > '2022-01-01'

create index l_partkey_idx on lineitem(l_partkey) where l_shipdate > '2022-01-01';

由于下面的查询语句的条件l_shipdate = date '2021-12-01'没有落到此索引条件表达式的范围内,该索引将不会被用到,所以执行计划采用的是全表扫描。

select l_partkey , count(1) from lineitem where l_shipdate = date '2021-12-01' and l_partkey < 100 group by l_partkey ;

GroupAggregate (cost=1870.25..1870.27 rows=1 width=12)

Group Key: l_partkey

-> Sort (cost=1870.25..1870.26 rows=1 width=4)

Sort Key: l_partkey

-> Seq Scan on lineitem (cost=0.00..1870.24 rows=1 width=4)

Filter: ((l_partkey < 100) AND (l_shipdate = '2021-12-01'::date))

而下面的查询语句的条件l_shipdate = date '2022-12-01'在条件表达式的范围内,数据库优化器将会采用此索引,可以看到性能有大幅提升。

select l_partkey , count(1) from lineitem where l_shipdate = date '2022-12-01' and l_partkey < 100 group by l_partkey ;

GroupAggregate (cost=402.37..402.39 rows=1 width=12)

Group Key: l_partkey

-> Sort (cost=402.37..402.38 rows=1 width=4)

Sort Key: l_partkey

-> Index Scan using lorderkey_idx on lineitem (cost=0.28..402.36 rows=1 width=4)

Filter: ((l_partkey < 100) AND (l_shipdate = '2022-12-01'::date))

特别提示:MySQL目前还不支持条件索引,而PostgreSQL、Opengauss、Oracle都支持。

索引融合

索引融合(Index Merge)是使用多个索引来完成一次单表数据访问的优化技术。当查询中涉及一个表的多个条件时,如果这些条件分别有合适的索引,索引融合可以在回表之前将多个索引的结果合并,以提高查询性能。

在lineitem表上有在l_shipdate以及l_partkey的单列索引,对于以下的SQL

select * from lineitem where l_shipdate = date '2010-12-01' or l_partkey=100;

PostgreSQL的执行计划

Bitmap Heap Scan on lineitem (cost=9.05..202.96 rows=59 width=158)

Recheck Cond: ((l_shipdate = '2010-12-01'::date) OR (l_partkey = 100))

-> BitmapOr (cost=9.05..9.05 rows=59 width=0)

-> Bitmap Index Scan on l_shipdate_idx (cost=0.00..4.70 rows=54 width=0)

Index Cond: (l_shipdate = '2010-12-01'::date)

-> Bitmap Index Scan on l_partkey_idx (cost=0.00..4.33 rows=5 width=0)

Index Cond: (l_partkey = 100)

MySQL的执行计划

-> Filter: ((lineitem.L_SHIPDATE = DATE'2010-12-01') or (lineitem.L_PARTKEY = 100)) (cost=12.53 rows=21)

-> Deduplicate rows sorted by row ID (cost=12.53 rows=21)

-> Index range scan on lineitem using l_shipdate_idx over (L_SHIPDATE = '2010-12-01') (cost=1.11 rows=1)

-> Index range scan on lineitem using l_partkey_idx over (L_PARTKEY = 100) (cost=3.03 rows=20)

可以看出,MySQL及PostgreSQL都支持索引融合优化优化,索引融合的算法另文讨论。

外键索引

应该在外键上键上创建索引,这个原则似乎和第一个原则(基于您的工作负载创建索引)相矛盾,然而事实上却是一致的,因为在真实应用中,表之间的关联绝大多数都是基于主外键来进行的。通过在外键上建立索引,可以提升表关联的效率,特别是在支持索引融合的数据库上。

在MySQL中,如果某个字段被定义为外键,默认会有对应的索引建立在上面;而在PostgreSQL系列的数据库中,将某些字段设置外键并不会自动在这些字段上建上索引。

准则3. 创建索引时的约束条件


创建索引时,虽然它们可以提高读取性能,但是索引也不是免费的午餐,创建索引也具有一定的代价,譬如索引会对写入性能产生负面影响,因为对于数据库管理器写入表的每一行,它还必须更新任何受影响的索引。基于此,我们通常会限制每个表创建的最大索引数量。而且索引还会占用一定的磁盘空间,在磁盘空间比较紧张的系统上,索引的大小和数量也需要进行控制。这部分内容我们称之为约束条件。我们的目标就是在给定的约束条件下,创建合适的索引,以最大限度的提升系统的整体性能。

  • 单表索引数目

  • 索引字段数目

  • 索引磁盘空间

针对以上的约束条件,我们通常通过以下的方法创建和维护索引:

  • 索引列取舍:通过对列的单值选择率的评估,在过滤效果最好的列上建立索引; 通过对工作负载的分析,避免在频繁更新的列上建立索引。

  • 索引取舍:通过对工作负载的分析,在最重要的SQL或是使用频率最高的查询上提供索引。

  • 索引合并:索引满足组最左前缀匹配原则,所以可以通过设计索引列的排列顺序,达到一个索引加速多个SQL的查询。

  • 索引删除:通过命令或工具定期采集索引的使用情况,将不再使用的索引进行删除。

关于PawSQL


PawSQL专注数据库性能优化的自动化和智能化,支持MySQL,PostgreSQL,Opengauss等,提供的SQL优化产品包括

  • PawSQL Cloud,在线自动化SQL优化工具,支持SQL审查,智能查询重写、基于代价的索引推荐,适用于数据库管理员及数据应用开发人员,

  • PawSQL Advisor,IntelliJ 插件, 适用于数据应用开发人员,可以IDEA/DataGrip应用市场通过名称搜索“PawSQL Advisor”安装。

  • PawSQL Engine, 是PawSQL系列产品的后端优化引擎,可以独立安装部署,并通过http/json的接口提供SQL优化服务。PawSQL Engine以docker镜像的方式提供部署安装。

有兴趣的小伙伴请在微信搜索关注公众号PawSQL,和数据库大咖交流SQL优化经验,体验PawSQL最新功能。

相关推荐

免费私有化部署! PawSQL社区版,超越EverSQL的企业级SQL优化工具面向个人开发者开放使用了

PawSQL 社区版(Community Edition)面向个人用户和小规模团队,提供永久免费的私域部署方案,可在本地或私有云中快速启动,无需外部依赖,可实现一键化的 SQL 自动优化与性能验证。该版本支持 MySQL、PostgreSQL 数据库,允许每位个人用户每月享有多达 600 次的优化配额,充分满足日常开发测试需求。

PawSQL的博客 1736

SQLE、SQM和PawSQL:深度评测企业级SQL审核平台

SQL审核是SQL代码投入生产的最后一道关卡,选择正确的SQL审核工具对于确保确保SQL代码质量至关重要。本文深度评测市场上主流的SQL审核工具,Yearning、Archery、Bytebase的审核模块、爱可生的SQLE、云和恩墨的SQM等,在审核规则覆盖度和审核结果正确性方面的表现。评测结果表明,即使用MySQL规则集作为测试对象,PawSQL在这次测试中表现也是最佳。

PawSQL的博客 1611

免费 IDEA/DataGrip SQL优化和审核插件 PawSQL Client

PawSQLClient 0.2.1版为JetBrains IDE带来智能SQL优化与执行前审核功能,解决慢查询索引优化、误执行高危UPDATE/DELETE两大痛点。光标定位即生成可直接使用的索引创建语句与改写方案,并提供性能对比;执行前自动拦截高危语句,支持静态分析不阻塞流程。零配置绑定数据源,离线也可结构分析,匿名免登录,结果直达console面板。兼容多数据库与IDE,免费无配额限制,提升开发效率与安全性。

PawSQL的博客 312

【PawSQL for DBeaver,不仅可以一键完成 SQL 优化,还可以在 SQL 执行前自动拦截高危操作】

PawSQL for DBeaver助力高效数据库开发,两大核心功能:一键智能优化SQL,支持索引推荐与执行计划对比;执行前强制审核,自动拦截高危操作。通过简单安装即可在DBeaver中实现从配置到调优、审核的全流程自动化,约两分钟掌握完整流程,显著提升开发安全与效率。#PawSQL #DBeaver #SQL优化 #SQL审核

PawSQL的博客 285

给 DBeaver 请一位 SQL 体检医生:PawSQL Client

很多事故,其实是「执行前没人拦一下」。一次 UPDATE 少个 WHERE、一条全表扫描的 SELECT、一个没索引的 JOIN——等线上告警响了,代价已经付出去了。有没有办法,把这些风险挡在「执行」之前?PawSQL Client 是 DBeaver 的一个插件。装上它,你的 SQL 编辑器里就多了一道执行前审核:你按下「执行」之前,SQL 先交给 PawSQL 做一次静态规则分析,再按风险决定放行还是让你确认。不用离开 DBeaver,不用额外操作——体检就发生在你最熟悉的编辑器的日常操作里。

PawSQL的博客 297

PawSQL 技术月报 | 2026年07月

PawSQL完成重大架构升级,核心优化包括:1. SQL解析器全面重构,底层架构统一化,提升解析效率与一致性;2. 自增主键规则智能适配分布式/非分布式数据库场景;3. 新增PostgreSQL CREATEEXTENSION语法支持。功能增强涵盖:SELECT*审核范围收紧、DML影响行数预警阈值下调至1000行、批量写入性能优化等。关键修复涉及MERGE语句解析、Oracle分组语法等场景。作为支持20+种数据库的智能SQL审核平台,PawSQL持续提升SQL全生命周期治理能力。(149字)

PawSQL的博客 217

PawSQL 正式登陆微软 Marketplace:智能 SQL 优化,上云更简单

摘要:2026年8月10日,北京图灵睿数科技宣布其数据库性能优化平台PawSQL正式上线Microsoft Marketplace,支持全球客户通过Azure快速部署。PawSQL覆盖SQL全生命周期,提供智能查询优化(Optimizer模块)与自动化运维监控(Patroller模块),帮助提升数据库性能并降低成本。该平台与微软产品深度集成,简化企业采购流程。微软高管表示欢迎,认为PawSQL的加入丰富了Marketplace的生态。图灵睿数专注于SQL优化智能化,PawSQL已兼容20余种主流数据库。

PawSQL的博客 281

PawSQL 技术月报 | 2026年6月

PawSQL在2026年6月迎来重要更新:全面支持TDSQL关键特性(自定义关键字、SEQUENCE和执行计划降级),增强Hive的LATERAL VIEW解析能力,新增STRAIGHT_JOIN检测与重写功能。优化方面扩展了Join消除规则至非主外键场景,改进了字符串类型判定逻辑,并持续提升派生表转换性能。同时修复了SELECT常量解析、字符集判定等多项问题,使SQL审核更精准。作为AI驱动的智能SQL平台,PawSQL已支持20余种数据库,拥有40+查询重写算法和300+审核规则,为全球超2万用户提供从

PawSQL的博客 282

SQL 避坑指南 - Oracle GROUP BY 整型常量的「薛定谔行为」

SQL解析器PawSQL在处理GROUP BY子句时发现了一个关键差异:不同数据库对GROUP BY中整型常量的解析方式不同。Oracle 23c之前将整型常量视为普通值(导致所有行归为一组),23c版本新增GROUP_BY_POSITION_ENABLED参数控制是否按列位置解析;而MySQL/PostgreSQL默认将整数视为列位置指示器。这种差异可能引发跨数据库迁移时的严重问题。建议始终使用列名替代常量或位置序号,PawSQL已新增审核规则,对GROUP BY中使用整数字面量的写法发出警告,以规避兼容

PawSQL的博客 532

【SQL换个写法,Top-N 查询快 10 倍!LATERAL JOIN 深度解析】

SQL查询中滥用派生表可能导致全表扫描等性能问题。本文通过真实案例展示了如何将低效的派生表查询(耗时12秒)通过PawSQL自动重写为LATERAL JOIN(0.2秒),性能提升61倍。文章解析了两种典型优化场景:窗口函数分页查询和分组聚合LIMIT查询,并详细说明了PawSQL的智能重写算法逻辑。该优化方法通过减少不必要的计算,将O(N²)复杂度降为O(N*K)。PawSQL的自动重写功能解决了手动改写的语法兼容性和易错问题,适用于多种主流数据库,为开发者提供高效、安全的SQL优化方案。

PawSQL的博客 601

“加个 DISTINCT 保险一点“——这句话有多危险

SQL开发中DISTINCT关键字的误用分析与正确实践 摘要:本文深入分析了SQL开发中DISTINCT关键字的常见误用问题。首先指出DISTINCT的本质错误在于混淆业务实体与度量指标的去重逻辑,强调去重应基于业务实体而非属性值。文章详细剖析了DISTINCT在多列(特别是浮点类型)场景下的精度陷阱,以及可能掩盖的JOIN逻辑错误、ETL管道问题和表设计缺陷等三大隐患。最后提出了五种正确替代方案:从源头修复重复问题、使用精确数值类型、基于业务主键去重、使用ROW_NUMBER()精确控制去重规则,以及完善

PawSQL的博客 487

【PawSQL × GitLab :提交代码即自动审核,SQL 质量零漏洞】

本文介绍了如何将PawSQL智能SQL审核平台与GitLab集成,实现自动化SQL审核。主要步骤包括:1)在GitLab创建API访问令牌;2)在PawSQL注册GitLab实例;3)配置SQL监控项(选择仓库、分支、审核规则等);4)在GitLab设置Webhook;5)通过代码提交或合并请求触发自动审核。集成后,SQL变更会自动触发审核,结果会回写到GitLab评论中,并提供详细的问题定位和修复建议。该方案支持SaaS和私有化部署的GitLab,覆盖开发全流程的SQL质量管控。

PawSQL的博客 379

【金融生产环境实战:PawSQL驱动openGauss慢查询优化,正确率100%,释放近7成人力成本】

某金融客户引入PawSQL智能优化工具对OpenGauss数据库198条慢查询进行优化,取得显著成效:优化正确率达100%,召回率68.8%,节省2/3人力成本。分析显示,90%优化来自精准索引推荐,20%受益于SQL重写优化。PawSQL通过自动化、高可靠的性能优化方案,助力金融客户实现数据库性能提升与运维效率飞跃,推动SQL优化进入智能化新阶段。

PawSQL的博客 521

同一条SQL,单机秒回,分布式集群卡成PPT——问题究竟出在哪?

本文深入剖析了分布式数据库跨分片JOIN操作的性能问题。首先对比了三种主流架构(分片中间件、存算分离MPP、经典MPP)在处理跨分片JOIN时的不同执行路径,指出数据移动是性能瓶颈的核心原因。文章揭示了三大性能杀手:网络传输爆炸、协调节点单点瓶颈和数据倾斜,并提供了快速诊断清单。通过一个电商平台报表SQL拖垮集群的真实案例,展示了错误分布键设计导致的严重后果。最后强调优化目标是减少数据移动,让JOIN回归本地,为后续解决方案系列文章奠定基础。

PawSQL的博客 917

PawSQL重磅升级:全面支持Oracle PL/SQL脚本解析与SQL优化

PawSQL最新版本突破性地实现了对Oracle PL/SQL存储过程的自动优化功能。该工具通过深度语法解析引擎,能够从复杂PL/SQL脚本中智能抽取SQL语句,并提供索引建议、查询重写、性能审核等全方位优化方案。典型测试案例显示,系统可在一分钟内完成包含9条SQL的存储过程分析,预估性能提升达99999%。该功能特别适用于金融、电信等行业的核心业务系统,支持通过API集成到CI/CD流程,实现SQL变更的自动化审核。PawSQL此次升级填补了存储过程SQL优化的技术空白,为复杂数据库脚本提供了一键式智能优

PawSQL的博客 569

PawSQL平台功能月度更新 | 2026年2月

PawSQL二月迭代聚焦企业级需求升级,完成三大核心改进:1)重构机构树权限体系,通过路径前缀机制和权限码设计,实现跨组织数据隔离与分级管控;2)优化并发执行模型,引入动态负载感知的双约束机制和分块处理,提升高并发场景稳定性;3)完成Coding平台Webhook集成,实现SQL审核与代码审查流程自动化对接。本次迭代着重夯实企业级应用基础能力,为大型客户提供更可靠的权限管理、性能保障和DevOps集成支持。

PawSQL的博客 562

PawSQL 2025 年度总结 - 走向“可信”的智能 SQL 优化

2025年,PawSQL在数据库性能优化领域实现关键跨越。面对行业对SQL质量日益严苛的要求,它不再满足于解决单条SQL问题,而是致力于构建一个可量化、可验证、可落地的企业级优化平台。这一年,PawSQL不仅正从一款好用的工具,进化为值得信赖的SQL质量治理基础设施;更在用户生态上取得质变:个人用户突破20,000人,并在金融、制造等行业实现企业级突破。

PawSQL的博客 1477

智能SQL优化工具 PawSQL 月度更新 | 2026年1月

2026年1月,PawSQL 核心引擎在超大规模 Schema 处理方面取得了突破性进展。我们引入了“按需解析”机制,大幅优化了在线获取元数据的响应速度。同时,针对分布式架构新增了多项审核规则,并显著提升了索引推荐引擎在处理派生表(DT)关联时的精准度。

PawSQL的博客 695

智能SQL优化工具 PawSQL 月度更新 | 2025年11月

2025年11月,PawSQL针对SQL审核/优化工具的下半场竞争需求,推出系列升级。重点包括:1)全面支持TDSQLPostgreSQL国产数据库;2)重构变量解析体系,提升复杂SQL脚本处理能力;3)优化Oracle/MSSQL解析细节,减少误报;4)增强性能分析与规则引擎准确性;5)重构审核执行引擎,支持大规模并发任务处理。这些改进使PawSQL在复杂业务场景下的稳定性、准确性和扩展性显著提升,为金融、政企等国产数据库用户提供更可靠的SQL优化解决方案。

PawSQL的博客 971

让SQL代码一秒变优雅:PawSQL上线免费SQL格式化工具!

PawSQL近期推出一系列免费的在线SQL工具,助力开发者高效处理各类SQL任务。该系列不仅提供SQL格式化、压缩、混淆及指纹生成、Oracle到PostgreSQL、openGauss等数据库的语法转换,还支持MySQL、Oracle等多种数据库的执行计划可视化分析。所有工具均免费在线可用,操作简便,是开发、测试及运维过程中提升效率的得力助手。

PawSQL的博客 1084

企业级SQL审核优化工具 PawSQL(4) — 生态集成

PawSQL构建了一套覆盖开发-测试-上线-巡检全流程的SQL优化闭环生态。通过插件化IDE集成、PR自动化审查、AI智能助手和服务化开放能力,实现SQL性能治理贯穿开发生命周期。该系统支持语法校验、性能建议、自动重写等功能,可在代码提交前识别问题,并与CI/CD流程深度集成。其特色在于将SQL优化从单点工具升级为持续治理体系,通过标准化协议连接开发工具链,让非DBA也能获得专业级优化指导,最终形成可度量、可回溯的团队SQL能力。

PawSQL的博客 880

不仅仅是 AI:PawSQL 如何实现“可信 AI SQL 优化”?

很多人认为,AI 时代的 SQL 优化,就是“让大模型写 SQL/改 SQL”。但在真实的企业级场景里,正确性、可靠性和可验证性比“聪明”更重要。这正是 PawSQL 与纯 AI 产品的根本区别,我们称之为:可信 AI SQL 优化(Trusted AI for SQL Optimization)。

PawSQL的博客 644

智能SQL优化工具 PawSQL 月度更新 | 2025年10月

在过去的十月,PawSQL团队持续深耕SQL优化领域,推出了一系列功能更新和问题修复,显著提升了产品的稳定性、性能和使用体验。本文将为您详细解析这些技术改进。

PawSQL的博客 715

企业级SQL审核优化工具 PawSQL 介绍(3)- 审核工单管理

PawSQL审核平台提供完整的SQL工单管理功能,实现从提交到执行的全流程自动化闭环。支持智能规则匹配、多维度SQL审核(性能/安全/可读性)、可视化风险分析及精准修复建议。平台提供灵活的审批流程配置,支持多角色协作(开发者/审批人/执行人),各环节操作留痕可追溯。通过自动化审核、风险可视化和可配置流程,帮助企业建立规范的SQL上线机制,在保障数据库安全的同时提升开发效率,适用于企业级SQL开发、DevOps变更管理和DBA审核自动化等场景。

PawSQL的博客 1193

企业级SQL审核工具PawSQL介绍(2)- 审核规则体系

PawSQL的审核规则体系针对SQL审核痛点,构建了全面均衡的审核方案。其规则集覆盖对象设计、操作、数据操作等维度,支持传统关系型、分布式及大数据平台等数据库,均保持200条左右规则量。特色包括:对象设计审核关注SQL操作结果;分布式数据库专项规则优化数据分布;HiveSQL专项规则提升大数据作业效率。通过审核模板管理,用户可自定义规则集与阈值,将最佳实践固化为规范。PawSQL致力于为各类数据库提供统一、专业的SQL审核体验,助力企业构建高效可靠的审核流程。

PawSQL的博客 1277

企业级SQL审核工具PawSQL介绍(1) - 六大核心能力

在当前的数据开发中,SQL审核工具已成为越来越多团队的必备利器。然而,市面上大多数产品仍普遍存在几大痛点:审核规则对各类数据库支持不一,难以适配多元环境;解析能力不足,面对复杂SQL时捉襟见肘;更常见的是,工具仅机械“报错”,却无法提供真正可行的优化建议——导致审核流程形同虚设,开发者困于误报与琐碎提示,而真正的性能瓶颈与安全隐患,却可能悄然潜伏。

PawSQL的博客 991

智能SQL审核优化工具 PawSQL 月度更新 | 正确性优先、兼容性与可观测性加强

本期更新以“正确性优先、兼容性与可观测性加强”为主线:针对子查询重写、谓词下推与 SATTC 场景的改进,配合解析器对 DB2 / 非标准字符的友好性提升,使 PawSQL 在复杂、异构 SQL 环境下更稳健。建议团队在升级到最新版时在预生产做回归验证,关注深分页优化的重写效果与有涉及 SSQ 重写的关键查询。

PawSQL的博客 753

PawSQL宣布支持DB2数据库SQL审核和性能优化

PawSQL智能SQL优化工具新增IBM DB2支持,为企业提供全面的SQL优化解决方案。该工具通过自研SQL解析器和灵活架构,实现对DB2的原生支持,提供智能SQL审查、查询重写优化和智能索引推荐三大核心功能。PawSQL支持离线和在线两种工作空间创建模式,适用于企业系统优化、数据库迁移、DevOps集成和慢查询治理等场景。此次更新使PawSQL支持数据库类型进一步扩展,帮助用户提升数据库性能并降低运维成本。PawSQL致力于为多种数据库提供一站式智能优化方案。

PawSQL的博客 594

智能SQL优化工具 PawSQL 月度更新 | 11项重要优化

PawSQL 8月更新实现11项核心优化:增强SQL解析引擎的标量子查询处理能力,新增SQL对象行信息追踪;优化算法改进包括关联子查询处理、索引策略调整及分布式列计算支持;提升Hive语法兼容性,修复SQLServer解析问题;完善变量处理等细节体验。这些升级显著提升了产品在复杂SQL场景下的解析稳定性与优化性能,为开发者提供更专业的数据库性能解决方案。

PawSQL的博客 733

高级SQL优化 | 告别临时表分组!PawSQL智能重写让跨表GROUP BY性能提升超百倍

在数据分析类 SQL 中,GROUP BY 是最常用的SQL功能之一。然而,当分组字段来自多个不同的表时,往往会导致严重的性能问题。多表分组不仅无法有效利用索引,只能执行全量扫描 + 临时表聚合,性能骤降。本文将深入解析PawSQL团队开发的GROUP BY优化算法,该算法能够智能识别跨表分组场景,并通过等值关系分析,将多表分组重写为单表分组,从而显著提升查询性能。

PawSQL的博客 489
上一篇: 数据库索引的类型
下一篇: 避免使用SELECT *的9个理由及2个例外
PawSQL,企业级SQL优化平台
博客等级 码龄5年 703粉丝 110原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值