sql server查询巨慢解决实例

本文通过一个具体的案例,展示了如何诊断并解决SQL查询性能问题。通过对执行计划的分析及统计数据的更新,成功将查询时间从十分钟缩短到两秒以内。

这是在计算某个KPI指标的时候发现的,下面是摘录的统计代码,就是这段代码巨慢,10分钟也没出结果:

  select dateid,EID,DID,y.Kpiid,y.[Property],Val=sum(JFJe-DFJe),d.start,d.[end]
  into #Val_1
  from KPI.YWData y --with(index(OpTime_IDX))
    join #Dateident d on y.OPtime>=d.Start and y.OpTime<d.[End]
    join #KPIID k on y.KPIID=k.KPIID
  group by d.dateid,y.KPIID,y.[Property],EID,DID,d.Start,d.[end]


代码实际运行时中,#Dateident一条记录,#KPIID 有 15000条记录,KPI.YWData是业务数据,经过条件OPtime>=d.Start and OpTime<d.[End]过滤后,约有670000条记录,以我对客户数据库性能的了解,这个数据量最多2秒应该出结果,到底什么原因呢?

看起来这段脚本没有太多的优化项,KPI.YwData中时间字段OpTime已经加有索引,而且是聚簇索引,经测试,发现:

  select sum(JFJe-DFJe)
  into #Val_1
  from KPI.YWData y --with(index(OpTime_IDX))
    join #Dateident d on y.OPtime>=d.Start and y.OpTime<d.[End]
    join #KPIID k on y.KPIID=k.KPIID
结果秒出,看起来和Group by 有关,于是加上Group by d.dateid,又一次变得巨慢,百思不得其解,按道理,group by是在筛选后的数据上做汇总,数据量未变,而且,#Dateident仅有一条数据,意味着上面两次查询返回结果也一样,不禁陷入长思。


为了查找原因,写了如下两个统计语句,并观察执行计划:

SELECT sum(YPID) FROM  DrugMaterial.DMItem 

SELECT sum(YPID) 
FROM  DrugMaterial.DMItem d
  join(select A=1) as t on 1=1
group by A

两条语句可以说无差别,但是执行计划却不一样:

根据以往的经验,执行计划依赖统计结果,难道是统计结果有问题,于是,执行

update statistics KPI.YWData
再执行原来的语句,2秒不到,至此,性能问题解决,现在分析,应该是统计结果有问题导致sql server制定了不合适的执行计划,导致Nested Loops性能严重降低所致。



【赛迪网-IT技术报道】SQL Server数据库查询速度的原因有很多,常见的有以下几种:   1、没有索引或者没有用到索引(这是查询最常见的问题,是程序设计的缺陷)     2、I/O吞吐量小,形成了瓶颈效应。     3、没有创建计算列导致查询不优化。     4、内存不足     5、网络速度     6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)     7、锁或者死锁(这也是查询最常见的问题,是程序设计的缺陷)     8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。     9、返回了不必要的行和列     10、查询语句不好,没有优化 ●可以通过以下方法来优化查询 : 1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺寸)越大,提高I/O越重要。 2、纵向、横向分割表,减少表的尺寸(sp_spaceuse) 3、升级硬件 4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段。 5、提高网速。 6、扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存。 配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。运行 Microsoft SQL Server? 2000时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的1.5倍。如果另外安装了全文检索功能,并打算运行Microsoft搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的3倍。将SQL Server max server memory服务器配置选项配置为物理内存的1.5倍(虚拟内存大小设置的一半)。 7、增加服务器CPU个数;但是必须 明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询 的排序、连接、扫描和GROUP BY字句同时执行SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作UPDATE,INSERT, DELETE还不能并行处理。 8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。对于字段的值很长的建全文索引。 9、DB Server 和APPLication Server 分离;OLTP和OLAP分离 10、分布式分区视图可用于实现数据库服务器联合体。 联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要。有关更多信息,参见设计联合数据库服务器。(参照SQL帮助文件''分区视图'') a、在实现分区视图之前,必须先水平分区表 b、 在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这样,引用分布式分区视图名的查询可以在任何一个成员服务器上 运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。 11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。 在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的:   1、 查询语句的词法、语法检查     2、 将语句提交给DBMS的查询优化器     3、 优化器做代数优化和存取路径的优化     4、 由预编译模块生成查询规划     5、 然后在合适的时间提交给系统处理执行     6、 最后将执行结果返回给用户。 其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放。
### Hive中复杂SQL查询的优化策略 #### 使用`EXPLAIN`和`EXPLAIN EXTENDED` 对于复杂或执行效率低下的查询,可以在查询语句前加上`EXPLAIN`或`EXPLAIN EXTENDED`关键字。这会使查询不被执行,而是返回Hive计划如何执行查询的信息。通过这种方式,可以理解查询被分解成了哪些阶段(stage),从而找到可能存在的性能瓶颈并加以改进[^4]。 ```sql EXPLAIN EXTENDED SELECT * FROM table_name WHERE condition; ``` #### 调整配置参数 有许多可调优的参数能够影响到Hive作业的表现。适当调整这些参数能够在很大程度上改善SQL执行的速度。例如: - `set hive.exec.parallel=true;`: 启用并发执行模式来加速多表连接操作。 - `set mapreduce.job.reduces=NUM;`: 明确指定Reduce任务的数量以控制输出文件大小以及减少Shuffle过程中的数据传输量。 - `set hive.vectorized.execution.enabled=true;`: 开启向量化执行引擎加快聚合运算等场景下数据处理速率。 以上只是部分可供调节的关键选项,具体还需要依据实际应用场景灵活设定[^2]。 #### 处理数据倾斜问题 当遇到因键分布极不平衡引起的数据倾斜状况时,应该采取措施缓解这一现象带来的负面影响。一种常见做法是在Join之前引入随机数作为辅助字段打散热点Key,之后再做关联计算;另外也可以考虑重构业务逻辑使输入源更加均匀化,以此达到规避严重偏斜的目的[^3]。 #### 减少不必要的I/O开销 尽可能地利用分区(Partitioning)特性按需读取特定范围内的记录而非全表扫描;同时合理规划桶(Bucketing)结构让相同特征值聚集存储以便于后续高效访问。此外,压缩算法的选择同样不容忽视——采用合适的编码方式能有效降低磁盘占用空间进而间接促进整体流程顺畅度。 ```sql -- 创建带分区的表 CREATE TABLE partitioned_table ( col1 STRING, ... ) PARTITIONED BY (year INT, month INT); -- 插入数据至相应分区 INSERT INTO partitioned_table PARTITION(year='2023',month='7') VALUES (...); ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值