业务场景下sql优化案例

SQL优化思路+经典案例分析 大家好,捡田螺的小男孩。SQL调优这块呢,大厂面试必问的。最近金九银十嘛,所以整理了SQL的调优思路,并且附几个经典案例分析。 阅读详情

sql优化案例

模拟场景

目标

查询前1000条办公地址属于北京市、上海市的境内上市公司股票信息数据(代码、名称证券类别、上市时间),并标识机构类别及统一社会信用代码

提供条件

证券信息总表PUB205:『
SECCODE_PUB205 股票代码
SECNAME_PUB205 股票名称
F002V_PUB205 证券类别编码
F003V_PUB205 证券类别描述
F007D_PUB205 上市日期
F012V_PUB205 代码属性编码 行情代码code为214001
F013V_PUB205 代码属性描述 行情代码
F014V_PUB205 发行机构ID 关联到PUB203.ORGID_PUB203
ISVALID 有效性
』
机构信息总表PUB203:『
ORGID_PUB203 机构ID
ORGNAME_PUB203 机构名称(中文)
F001C_PUB203 境内上市标识 1-是,0-否
F002V_PUB203 机构类别编码
F003V_PUB203 机构类别
F060V_PUB203 统一社会信用代码
ISVALID 有效性
』
注册地址及办公地址PUB225:『
ORGID_PUB225 机构ID
F002V_PUB225 地区编码 北京:‘110000’,上海:‘268001’
TYPE_PUB225 类型 1-注册地址,2-办公地址
ISVALID 有效性
』

待优化sql

	SELECT
		*
	   FROM PUB205 p5 LEFT JOIN  PUB203 p3 ON p5.f014v_pub205 = p3.orgid_pub203
  WHERE p5.isvalid = 1
	    AND p3.isvalid = 1
	    AND p5.f014v_pub205 in (
	SELECT p25.ORGID_PUB225
	FROM PUB225 p25
	WHERE p25.isvalid = 1
	AND p25.type_pub225 = 2
	AND p25.f002v_pub225 in ('110000','268001')
	)
	AND p5.f013v_pub225 = '行情代码'
	AND p3.f001c_pub203 = '1'
	LIMIT 1000

优化后sql

WITH p5 as
(
SELECT
SECCODE_PUB205,
SECNAME_PUB205,
F002V_PUB205,
F003V_PUB205,
F007D_PUB205,
F012V_PUB205,
F013V_PUB205,
F014V_PUB205
FROM PUB205
WHERE ISVALID = 1
AND F012V_PUB205 = '214001'
AND EXISTS (
SELECT 1
FROM PUB225 p25
WHERE p25.isvalid = 1
AND p23.TYPE_PUB225 = 2
AND p25.F002V_PUB225 in ('110000','268001')
AND p25.orgid_pub225 = p5.F014V_PUB205
)

),
p3 as
(
SELECT
ORGID_PUB203,
ORGNAME_PUB203,
F002V_PUB203,
F003V_PUB203,
F060V_PUB203,
F001C_PUB203
FROM PUB203
WHERE ISVALID = 1
)
SELECT p5.*,p3.*
FROM p5 join p3 on p5.F014V_PUB205 = p3.orgid_pub203
WHERE p3.F001C_PUB203 = '1'
LIMIT 1000
SQL 实战:复杂数据去重与唯一值提取 在实际开发中,数据重复是常见问题,例如用户多次登录记录、订单状态重复更新等。如何高效提取符合业务需求的唯一值或最新记录,对系统性能和数据准确性至关重要。本文将探讨如何使用 SQL 的以及 DISTINCT实现复杂场景下的数据去重与唯一值提取,避免重复数据干扰业务分析。函数/技术说明示例去除重复行,返回唯一记录按指定列分组,返回每组的聚合结果窗口函数,为每组记录编号,通常用于去重或排名类似,但排名相同记录具有相同序号连续排名,不跳跃。 阅读详情

相关推荐

⑤FlinkSql&Table编程案例

前面使用 Flink Table & SQL 的 API 实现了最简单的 WordCount 程序。在这一课时中,将分别从 Flink Table & SQL 的背景和编程模型、常见的 API、算子和内置函数等对 Flink Table & SQL 做一个详细的讲解和概括,最后模拟了一个实际业务场景使用 Flink Table & SQL 开发。 Flink Table & SQL 概述 背景 我们在前面的课时中讲过 Flink 的分层模型,Fl...

someInNeed的博客 245

分库分表实战(6):小试牛刀 — 千万级数据之sql优化上篇

通过前几期文章的积累,现在我们的理论知识已经极为扎实了,这个时候就可以动手开始sql优化了,sql优化是非常重要,因为即使再好的MySQL设计架构,也扛不住一个频繁查询的垃圾sql语句。

石杉的架构笔记 1157

保姆级教程:用Kvaser DB Editor从零创建你的第一个DBC文件(附CAN信号属性详解)

本文提供了一份详细的Kvaser DB Editor教程,指导用户从零开始创建DBC文件,并深入解析CAN信号属性的关键设置。通过步骤清晰的安装指南、信号属性配置详解和实用技巧,帮助工程师和学生快速掌握CAN总线通信的核心工具,提升工作效率。

weixin_27076351的博客 253

SQL业务场景

数据分析的五个环节: 明确问题 收集数据 数据清洗 数据可视化 数据建模 python当文字内容中,已经有单引号的时候需要使用双引号包裹 举个栗子:print("Let's Go!") SQL和我们常用的Excel相比,它的优势主要有两点: SQL处理大量数据时效率很高 SQL面对复杂问题时比Excel优势明显,比如合并多个不同文件中的数据 三个SQL中最常用的语句: 为拼多多解决: what,哪些用户查看了优惠券、哪些用户领取了并使用了优惠券。 why,为什么有的用户不领取、不

now 7139

UE4_SpeedTree Shader源码分析

目录 1.UMaterialExpressionSpeedTree::Compile 2.Compiler->SpeedTree 3.GetSpeedTreeVertexOffset 4.Scene中的SpeedTree应用 (Scene->UpdateSpeedTreeWind) 5.GetSpeedTreeVertexOffsetInner 由于之后做风场,也需要在S...

zzgyy123的专栏 2632

CVPR 2027 投稿规划:基于近3年录用率与截稿周期的5步时间管理法

本文为计算机视觉研究者提供CVPR 2027投稿的完整规划指南,基于近三年录用率与截稿周期数据,提出五步时间管理法。涵盖选题策略、实验设计、论文写作、同行评审到最终提交的全流程优化,特别针对CVPR日益激烈的竞争环境(2024年投稿量达11532篇,录取率仅23.6%)提供实用解决方案,帮助研究者提升投稿成功率。

weixin_34079177的博客 1186

SQL开发常见问题优化

前几天听了公司一位DB前辈的讲解,很受用。此文参照前辈(baoyongfei)的讲解。讲的很基础,适合大部分人参考。 此文讲解的都是基础的,也是很多开发最容易忽略的部分。理解错误之处,望指出。 分为三部分内容:基本规范、数据库连接注意点、性能提升。 一、基本规范: 对于的查询语句,输出字段(不算子查询):输出字段越多,对CPU的消耗就会增多;输出字段越多,网络传输的代价更大;输出字段越...

编程不过是一门失传艺术的别名,这门艺术的名字叫做“思考” 807

swupdate-签名验证

swupdate加密部分具体在中可以查看。

qq_28219531的博客 1150

sql 里的HAVING 、WHERE 、GROUP BY、COUNT 和两种子查询用法

一、HAVING 、WHERE 、GROUP BY、COUNT: 1.count()表示返回指定列的值的数目,count(*)表示返回查询结果所有的行数。 需要注意的是count作为聚合函数是发生在分组之后的(group by) 2.having 和 where 的区别: where 子句的作用是在对查询结果进行分组前,将不符合where条件的行去掉,即在分组之前过滤数据,where条件中不能包含...

xwz86433491的博客 6568

Kylin-Desktop-V10-SP1-General-Release-2303-X86_64-海光版(hygon c86)安装与配置指南

本文提供了在国产海光C86处理器平台上安装与配置Kylin Desktop V10 SP1操作系统的详细指南。内容涵盖从下载专用镜像、制作启动盘、BIOS关键设置、磁盘分区方案,到系统安装后的驱动优化、必备软件安装及常见故障排除,旨在帮助用户顺利完成hygon c86平台的系统部署与优化。

tree的博客 1395

kali设置安装burpsuite中文版

工具:通过网盘分享的文件:Burpsuite 链接:提取码: jay1。

m0_74786138的博客 5206

MySQL系列—慢查询优化案例

查询优化神器 – explain命令关于explain命令相信大家并不陌生,具体用法和字段含义可以参考官网,这里需要强调rows是核心指标,绝大部分rows小的语句执行一定很快(有例外,下面会讲到)。所以优化语句基本上都是在优化rows。慢查询优化基本步骤 先运行看看是否真的很慢,注意设置SQL_NO_CACHE; where条件单表查,锁定最小返回记录表。这句话的意思是把查询语句的where都应用

此博客已停用,博文会逐渐转移到新地址,http://blog.youkuaiyun.com/liupeifeng3514 609

保姆级教程:在Windows/Mac上搞定SAM 3的权重和BPE文件下载与配置

本文提供了一份详细的SAM 3权重和BPE文件下载与配置指南,特别针对国内开发者遇到的下载缓慢和配置错误问题。通过国内镜像源快速获取文件,并详细介绍了环境检查、文件下载、路径配置及常见问题解决方案,帮助开发者高效完成SAM 3的部署与使用。

weixin_42547431的博客 558

手撕SQL调优高频面试题(附真实踩坑案例)

SQL调优没有银弹!需要结合业务场景具体分析。记住这个调优优先级:索引优化 > 查询改写 > 参数调整 > 架构升级 > 换存储引擎(别一上来就分库分表,小心被面试官怼!

xiaoqian9997的博客 1719

YOLO11改进策略【独家融合改进】| EfficientViMBlock + LGAG + DySample

通过学习采样来学习上采样DySample。

Limiiiing的博客 364

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

2013数据库大会:崔华-基于Oracle的SQL优化案例分析

2013年中国数据库技术大会第二天的"Oracle架构与优化"专场中,来自中航信资深Oracle数据库工程师崔华为大家分享了《基于 Oracle的SQL优化典型案例分》主题演讲。从演讲的内容来看,这是一次非常实用的技术分享。据资料显示,崔华从2004年开始从事DBA工作,拥有 Oracle 数据库技术各个领域的经验。除了工作外,崔化在博客上撰写大量的文章并在Oracle活动中进行演讲,此外还与他们

关注系统性能调优 1835

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

SQL进阶之旅 Day 24:复杂业务场景SQL解决方案

复杂业务场景下,SQL 查询需要结合JOINCTE窗口函数等高级技术合理使用索引和执行计划分析是性能优化的关键不同数据库(如 MySQL 和 PostgreSQL)在复杂查询处理上存在性能差异CTE 和窗口函数提高了查询的可读性和可维护性。

在未来等你的专栏 1427

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

SQL优化实战(二):从慢查询到丝滑执行的4个经典案例

SQL优化是提升数据库查询效率的关键技能。本文通过三个真实业务场景,展示了如何通过分析执行计划、定位问题根源并进行精准优化,显著提升查询性能。首先,针对全表扫描问题,通过添加复合索引将订单查询从8秒优化到100毫秒;其次,针对索引失效问题,通过调整查询逻辑将用户查询从5秒优化到200毫秒;最后,针对多表关联问题,通过优化查询结构将商品详情查询从3秒优化到500毫秒。这些案例揭示了SQL性能瓶颈的三大根源:全表扫描、索引失效和多表关联,并提供了具体的优化方法论,帮助开发者掌握高效的SQL优化技巧。

QiuMing 1359

sql慢查询之深分页优化实战:从3秒到0.1秒的优化之路

sql慢查询之深分页优化实战:从3秒到0.1秒的优化之路

jsjbrdzhh的博客 1601

复杂业务场景下的SQL调优案例,资深DBA十年经验全公开

解决复杂业务查询性能难题,本文分享资深DBA十年实战经验,涵盖索引优化、执行计划分析与1024 SQL数据分析实战技巧,适用于高并发、大数据量场景。方法实用、效果显著,值得收藏。

FuncFun的博客 757

系统整容纪:慢SQL之独家秘籍,离不可替代型人才更近一步

在数据库管理的世界里,"慢SQL"是那些执行效率低下、响应时间长,导致用户等待时间变长和服务器资源利用率下降的SQL查询。那么,我们如何定义一个SQL查询是"慢"的呢?通常,这不仅仅是一个绝对时间的问题,而是一个多维度的考量。

京东科技开发者 1086

MySQL原理简介—11.优化案例介绍

回到聚簇索引,根据id找到那条数据,取出is_good_comment字段的值,接着对is_good_comment='1'条件进行匹配,筛选出符合条件的数据。首先第一条执行计划是在第三行,针对的是子查询的执行计划。这个子查询的结果集就是一个只有20条数据的临时表,拿到20条数据后,就会接着对20条数据遍历,每一条数据都按照id去聚簇索引里查找完整的数据即可。一个连接要执行几十秒的SQL,然后才能执行下一个SQL,此时数据库基本就废了,没法执行什么查询了,所以商品系统大量进行报警说查询数据库超时异常了。

weixin_55010563的博客 606

复杂业务场景下的SQL JOIN设计(真实电商案例剖析)

掌握复杂业务场景下的SQL JOIN用法,提升数据查询效率。以真实电商案例为基础,解析多表关联逻辑、适用场景与性能优化技巧,助你精准提取业务数据。方法实用,结构清晰,值得收藏。

CompiWander的博客 644

MySQL 100 条神级 SQL 曝光!从删库到封神,一行代码拯救双 11 崩溃现场!

各位 Java 架构师,今天咱们来聊一个能让数据库性能飙升 100 倍的核武器 ——100 条实战 SQL 案例!你敢相信吗?某电商平台双 11 大促,就因为一条SELECT * FROM order WHERE user_id = 123,导致数据库 CPU 飙升到 100%,订单查询延迟从 10ms 变成 10 秒,300 万用户卡在支付页面!而换成一条带索引的优化 SQL 后,瞬间将响应时间压回 5ms,直接拯救了整个大促!

赵KK的博客 471

深入学习SQL优化的第二天

SQL 优化,直接练习写SQL语句,并不仅仅是为了学习 SQL 本身,它实际上也是学习 SQL 优化的一种非常有效的方式,通过不断地编写、执行和调整SQL查询,你可以深入理解数据库的工作原理、查询的执行计划以及哪些因素会影响查询的性能。接上文。

渴望飞翔的小白 556

MySQL索引原理及慢查询优化

http://tech.meituan.com/mysql-index.html MySQL凭借着出色的性能、低廉的成本、丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色,但所谓“好马配好鞍”,如何能够更好的使用它,已经成为开发工程师的必修课,我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系

leonpengweicn的专栏 627
上一篇: 【SQL】使用SQL查询制作分区间/分段统计的思路
下一篇: Hanlp的学习和应用
Less_weight
博客等级 码龄9年 3粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值