❝开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共3300人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6 7群均已爆满,开8群近400 9群 200+,开10群PolarDB专业学习群100+)
暑期过去了,该干正事了。DBA其中的重要工作,SQL优化,至少到目前为止,这个工作还存在。以后这个工作有没有不好说,随着AI的能力的爆发,这个工作被替代也是在时间表上的事情了。
所以搞一个系列,数据库SQL和查询语句优化系列,纪念可能逝去的需求。今天先拿PG开刀,优化SQL的根本是提高单位时间SQL运行的个数,减少SQL运行期间可能触发的锁冲突,降低单位时间数据库CPU,IOPS,内存的消耗。
所以从一个SQL优化的角度上,如果光强调SQL执行的时间快与慢,那就太单纯了。
这里有一个四句真言
减少IO全扫描,合理利用“小”索引,
降低芯片计算量,减少无效排序与哈希,
提高并发与吞吐,避免大锁的冲突,
稳定执行的计划,数量大小都稳定。
PG 的优化和其他数据库相比,更加的复杂和多变。
复杂在哪里?
索引的多变,数据表状态的多变,factor 表的设置初始的多变,与并行的使用与优化。
1 索引的复杂和多变
PG的索引不光是常见的,B-TREE类型的索引,或者形式上的覆盖索引,主键,唯一索引,复合索引等等,PG的索引类型很多,如BRIN,BLOOM,GIN ,Gist等,熟悉多种索引的使用场景,建立合适的索引类型,也是PG DBA需要只晓得知识,因为其他的数据库类型没有这块功能,这就导致大部分其他DBA都忽略了 PG的这块能力和优化的手段。
举例,大量的时间数据的查询建立索引,可以考虑Brin索引的超大表,Brin比Btree索引要小几十倍,甚至上百倍。虽然查询速度上会变慢,但存储和内存的节省也是一种SQL的优化。如你以前使用 BTREE索引查询的时间是 0.01秒,而通过BRIN索引后,查询时间是0.1秒,但索引大小小了100倍,索引大小从50G 变成50MB,这样的优化也算是SQL的一种优化。
2 表factor的初始化设置
这点很少人提到过,这也是其他数据库DBA不具有的知识。在SQL优化中,我们希望我们提取的数据的空间是连续的,PG的原理大家也都理解,由于这个问题,很容易导致频繁UPDATE的表的数据看似应该连续的,却四分五裂。提取数据会导致机械磁盘的磁头频繁的移动,导致物理性的慢,所以PG的数据库建议还是上SSD更好,这里可以通过在建表的时候降低factor的比率,提高SQL在读取连续数据时的速度。
3 降低无效CPU的消耗
这里假设一个例子:
EXPLAIN (ANALYZE, BUFFERS)
SELECT customer_id, SUM(amount)
FROM orders
WHERE amount > 100
GROUP BY customer_id
ORDER BY SUM(amount) DESC
LIMIT 10;
GroupAggregate (cost=10000..20000 rows=1000 width=40)
(actual time=1200.500..1500.200 rows=10 loops=1)
Group Key: customer_id
-> Sort (cost=10000..12000 rows=100000 width=40)
(actual time=1190.100..1350.400 rows=1000000 loops=1)
Sort Key: customer_id
Sort Method: quicksort Memory: 120MB
Buffers: shared hit=200000 read=50000
-> Seq Scan on orders (cost=0..8000 rows=1000000 width=40)
(actual time=0.020..300.150 rows=1000000 loops=1)
Filter: (amount > 100)
Rows Removed by Filter: 200000
Planning Time: 0.100 ms
Execution Time: 1502.003 ms
在查询中,很容易看到第一个问题,全表扫描添加索引,但排序在这里也是一个消耗CPU的点,建立索引我会把索引建立成
CREATE INDEX idx_orders_customer_amount ON orders(customer_id, amount);
有人会问为什么不是
CREATE INDEX idx_orders_customer_amount ON orders(amount,customer_id,);
在这条语句里面包含了分组,分组的机制中就天然包含了排序,将customer_id放到前面,可以有效的进行有序扫描amount > 100的数据扫描,最后拿出的数据也是就满足了分组中的排序需求。
另外还有一个关键点,这里也是希望AI目前无法涉及到的点,DBA的经验。岁数大的DBA都明白,业务逻辑是优化SQL的核心之一,customer_id 和 amount 在其他SQL的查询方式,大脚豆都能想出来,所以问出为什么amount不在复合索引前的,你的经验还是嫩了点,俗称你是一根筋。
4 制造稳定性的执行计划,而不是不稳定的执行计划
我们还以一个实例来说明
EXPLAIN (ANALYZE, BUFFERS)
SELECT *
FROM orders
WHERE customer_id = 123
AND amount > 1000;
稳定的索引,制造稳定的执行计划。
CREATE INDEX idx_orders_customer_amount ON orders(customer_id);
CREATE INDEX idx_orders_customer_amount ON orders(amount);
不稳定的索引,制造不稳定的执行计划
CREATE INDEX idx_orders_customer_amount ON orders( amount,customer_id);
上面两个索引建立的方式,从稳定性上讲,第一个索引会让执行计划更加稳定,而第二个索引有一定可能性产生问题,通常amount是一个忽大忽小的量,一个客户可能有amount很大的情况,导致行数过多,那么就会导致执行计划放弃索引直接走全表扫描。所以第一个索引建立的时候考虑到这个问题。
那么这里又引出第二个问题,到底我是建立复合索引还是单个多个索引,大部分情况下,我们建议有效的复合索引,有效的复合索引会降低PG在使用多个单个索引处理查询时,使用bitmap index scan 将多个单独的索引合并走交集的情况,这样的方式会消耗CPU,不如复合索引。
所以评估稳定性的问题,还需要考虑你大部分查询的语句的查询情况和查询频率后,才能找到索引建立的更优方案。
至于PG的并行查询,在我们的经验中,一般的设置都不会针对每个SQL超过 4个并行。
PG SQL的优化一篇文章是无法说完整的,SQL的优化也是要凭借对业务的更多了解和之前SQL优化的经验。
但这里需要注意,PG更多的SQL优化在于非SQL本身的一些优化点,而那些优化点是其他的数据库不具有的经验常识。
总结:
PostgreSQL SQL 优化要点总结表
优化方向 | 说明 | 示例 / 对比 | PG 特有点 |
|---|---|---|---|
| 1. 索引的复杂和多变 | PG 索引种类多:B-TREE、BRIN、BLOOM、GIN、GiST 等,需要 DBA 熟悉场景 | - 时间序列大表 → BRIN 节省空间 | 不同于其他数据库,PG 索引类型极丰富 |
| 2. 表 fillfactor 的初始化设置 | 控制行存储密度,避免频繁更新导致数据碎片,提高顺序扫描性能 | - 频繁 UPDATE 的表降低 fillfactor | 其他 DB 很少涉及,PG 特有的调优点 |
| 3. 降低无效 CPU 消耗 | SQL 优化不仅是加索引,还要减少排序、哈希等 CPU 消耗 | 示例 SQL: | PG 的执行计划依赖经验判断,索引顺序影响很大 |
| 4. 稳定执行计划 | 稳定性比“偶尔快”更重要,避免执行计划飘忽 | - 单列索引 | PG 对统计信息和分布敏感,稳定性尤为关键 |
| 5. 单索引 vs. 复合索引 | 大多数情况推荐有效复合索引,避免 bitmap index scan 的 CPU 开销 | - 多单列索引 → bitmap 合并,耗 CPU | PG 特别依赖 bitmap scan,复合索引能更稳 |
| 6. 并行查询 | 并行度一般不建议超过 4,否则开销 > 收益 | - 并行扫描大表有效 | PG 的并行机制复杂,需结合业务测试 |
| 7. LIMIT 语句优化 | LIMIT 本身很快,但当结果集过大时,排序会拖慢性能 | - 尽量结合索引 ORDER BY 使用 | PG 排序开销随行数急剧增加,需特别注意 OFFSET 的代价 |
| 8. 多表 JOIN 优化 | JOIN 性能依赖统计信息和索引,顺序不同执行计划差异大 | - 为 JOIN 键建立索引 | PG 的 JOIN 算法多变:Nested Loop / Merge Join / Hash Join,需根据场景调优 |
置顶
从 Universal 环球影城 到 国产数据库产品 营销 --驴唇对马嘴
3种方式 PG大版本升级 接锅,背锅,不甩锅 以客户为中心做产品
"PostgreSQL" 不重启机器就能调整 shared buffer pool 的原理
超强外挂让MySQL再次兴盛,国内神秘组织拯救MySQL行动
邦邦硬的PostgreSQL技术干货来了,怎么动态扩展PG内存 !
微软动手了,联合OpenAI + Azure 云争夺AI服务市场
“当复杂的SQL不再需要特别的优化”,邪修研究PolarDB for PG 列式索引加速复杂SQL运行
“合体吧兄弟们!”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》
未知黑客通过SQL SERVER 窃取企业SAP核心数据,影响企业运营
那个MySQL大事务比你稳定,主从延迟低,为什么? Look my eyes! 因为宋利兵宋老师
非“厂商广告”的PolarDB课程:用户共创的新式学习范本--7位同学获奖PolarDB学习之星
说我PG Freezing Boom 讲的一般的那个同学,专帖给你,看看这次可满意
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
OceanBase Hybrid search 能力测试,平换MySQL的好选择
HyBrid Search 实现价值落地,从真实企业的需求角度分析 !不只谈技术!
OceanBase 光速快递 OB Cloud “MySQL” 给我,Thanks a lot
从“小偷”开始,不会从“强盗”结束 -- IvorySQL 2025 PostgreSQL 生态大会
被骂后的文字--技术人不脱离思维困局,终局是个 “死” ? ! ......
个群2025上半年总结,OB、PolarDB, DBdoctor、爱可生、pigsty、osyun、工作岗位等
从MySQL不行了,到乙方DBA 给狗,狗都不干? 我干呀!
SQL SERVER 2025发布了, China幸亏有信创!
MongoDB 麻烦专业点,不懂可以问,别这么用行吗 ! --TTL
PostgreSQL 新版本就一定好--由培训现象让我做的实验
删除数据“八扇屏” 之 锦门英豪 --我去-BigData!
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》
疯狂老DBA 和 年轻“网红” 程序员 --火星撞地球-- 谁也不是怂货
和架构师沟通那种“一坨”的系统,推荐只能是OceanBase,Why ?
OceanBase 相关文章
写了3750万字的我,在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究》
OceanBase 6大学习法--OBCA视频学习总结第六章
OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计
OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计
OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装
OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎
OceanBase 架构学习--OB上手视频学习总结第二章 (OBCA)
OceanBase 6大学习法--OB上手视频学习总结第一章
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)
跟我学OceanBase4.0 --阅读白皮书 (4.0优化的核心点是什么)
跟我学OceanBase4.0 --阅读白皮书 (0.5-4.0的架构与之前架构特点)
跟我学OceanBase4.0 --阅读白皮书 (旧的概念害死人呀,更新知识和理念)
OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB
MongoDB 相关文章
MongoDB “升级项目” 大型连续剧(4)-- 与开发和架构沟通与扫尾
MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项
MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"
MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升
MongoDB 大俗大雅,上来问分片真三俗 -- 4 分什么分
MongoDB 大俗大雅,高端知识讲“庸俗” --3 奇葩数据更新方法
MongoDB 大俗大雅,高端的知识讲“通俗” -- 2 嵌套和引用
MongoDB 大俗大雅,高端的知识讲“低俗” -- 1 什么叫多模
MongoDB 合作考试报销活动 贴附属,MongoDB基础知识速通
MongoDB 使用网上妙招,直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)
MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模
MongoDB 双机热备那篇文章是 “毒”
MongoDB 会丢数据吗?在次补刀MongoDB 双机热备
MONGODB ---- Austindatabases 历年文章合集
PolarDB 已经开放的课程
PolarDB 非官方课程第八节--数据库弹性弹出一片未来--结课
PolarDB 非官方课程第七节--数据备份还原瞬间完成是怎么做到的--答题领奖品
PolarDB 非官方课程第六节--数据库归档还能这么玩--答题领奖品
PolarDB 非官方课程第五节--PolarDB代理很重要吗?--答题领奖品
PolarDB 非官方课程第四节--PG实时物化视图与行列数据整合处理--答题领奖品
PolarDB 非官方课程第三节--MySQL+IMCI=性能怪兽--答题领奖品
PolarDB 非官方课程第二节--云原生架构与特有功能---答题领奖品
PolarDB 非官方课程第一节-- 用户角度怎么看PolarDB --答题领奖品
免费PolarDB云原生课程,听课“争”礼品,重塑云上知识,提高专业能力
PolarDB 相关文章
数据压缩60%让“PostgreSQL” SQL运行更快,这不科学呀?
这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!
用MySQL 分区表脑子有水!从实例,业务,开发角度分析 PolarDB 使用不会像MySQL那么Low
MySQL 和 PostgreSQL 可以一起快速发展,提供更多的功能?
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
POLARDB 添加字段 “卡” 住---这锅Polar不背
PolarDB 版本差异分析--外人不知道的秘密(谁是绵羊,谁是怪兽)
PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤,来自杭州的Package(活动结束了)
PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火
PostgreSQL 相关文章
说我PG Freezing Boom 讲的一般的那个同学专帖给你看这次可满意
PostgreSQL Hybrid能力岂非“小趴菜”数据库可比 ?
PostgreSQL 新版本就一定好--由培训现象让我做的实验
PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 (翻译)
“PostgreSQL” 高性能主从强一致读写分离,我行,你没戏!
PostgreSQL 添加索引导致崩溃,参数调整需谨慎--文档未必完全覆盖场景
PostgreSQL SQL优化用兵法,优化后提高 140倍速度
PostgreSQL 运维的难与“难” --上海PG大会主题记录
PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?
全世界都在“搞” PostgreSQL ,从Oracle 得到一个“馊主意”开始
PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁
PostgreSQL “我怎么就连个数据库都不会建?” --- 你还真不会!
病毒攻击PostgreSQL暴力破解系统,防范加固系统方案(内附分析日志脚本)
PostgreSQL 远程管理越来越简单,6个自动化脚本开胃菜
PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆
PostgreSQL 分组查询可以不进行全表扫描吗?速度提高上千倍?
POSTGRESQL --Austindatabaes 历年文章整理
PostgreSQL 查询语句开发写不好是必然,不是PG的锅
PostgreSQL 字符集乌龙导致数据查询排序的问题,与 MySQL 稳定 "PG不稳定"
PostgreSQL Patroni 3.0 新功能规划 2023年 纽约PG 大会 (音译)
PostgreSQL 玩PG我们是认真的,vacuum 稳定性平台我们有了
PostgreSQL DBA硬扛 垃圾 “开发”,“架构师”,滥用PG 你们滚出 !(附送定期清理连接脚本)
MySQL相关文章
MySQL 的SQL引擎很差吗?由一个同学提出问题引出的实验
用MySql不是MySQL, 不用MySQL都是MySQL 横批 哼哼哈哈啊啊
MYSQL --Austindatabases 历年文章合集
临时工访谈系列
没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛
SQL SERVER 系列
SQL SERVER 如何实现UNDO REDO 和PostgreSQL 有近亲关系吗

3282

被折叠的 条评论
为什么被折叠?



