SQL SERVER的LATCH

21、SQL Server中Latch相关等待类型解析与优化 本文深入解析了SQL Server中的LATCH_[xx]和PAGEIOLATCH_[xx]等待类型,探讨了它们的成因及对性能的影响,并提供了详细的优化方法。内容涵盖闩锁等待类型的基本原理、排查工具(如DMV和性能监控计数器)、优化查询行为、数据库维护策略以及存储和内存管理建议。通过本文,可以系统性地了解如何减少SQL Server中的等待时间,提升数据库性能与稳定性。 阅读详情

昨天聊了下SQLSERVER的spinlock,当时我认为spinlock是与Oracle LATCH相对应的结构,事实上碎片化的阅读会带来一些知识掌握的不准确。Oracle的LATCH是通过spin来实现锁的获取的,spin是LATCH获取轻量级锁的一种方式。而在SQLSERVER中,LATCH和spinlock被设计成两种轻量级锁,分别用于不同的场景。Oracle有shared pool,library cache等结构,可以用shared pool闩锁来保护整个共享池,共享池中新增的一些乱七八糟的数据结构可以通过shared pool闩锁以及mutex来实现串行化访问保护。

SQLSERVER中并无此类机制,因此对于一些重度访问的内存结构,设计了LATCH来保护,而其他的一些数据结构,使用spinlock。在SQLSERVER中,总是使用spinlock来保护那些访问十分快速的内存结构。

LATCH是 SQL Server 的SQL引擎用来保证内存结构的一致性的轻量级原子操作用来保护索引、数据页和内部结构等结构,例如 B 树中的非叶页。LATCH仅存在于SQL引擎内部。SQL Server 使用缓冲LATCH来保护缓冲池中的页面,并使用 I/O LATCH来保护尚未加载到缓冲池中的页面。每当向 SQL Server 缓冲池中的页面写入或读取数据时,工作线程必须首先获取该页面的缓冲LATCH。有多种缓冲LATCH类型可用于访问缓冲池中的页面,包括独占LATCH (PAGELATCH_EX) 和共享LATCH(PAGELATCH_SH)。

当 SQL Server访问一个尚未加载到缓冲池中的页面时,将通过一个异步 I/O操作将该页面加载到缓冲池中。如果 SQL Server 需要等待 I/O 子系统响应,它将根据请求类型等待独占 (PAGEIOLATCH_EX) 或共享 (PAGEIOLATCH_SH) I/O LATCH;这样做是为了防止另一个工作线程使用不兼容的LATCH将同一页面加载到缓冲池中。LATCH还用于保护对缓冲池页面以外的内部存储器结构的访问;这些被称为非缓冲LATCH。

PAGELATCH的争用在多 CPU 系统十分常见。当多个线程同时尝试获取相同内存结构的不兼容LATCH时,就会发生LATCH争用。闩锁是一种内部并发控制机制,SQL 引擎会自动确定何时使用它们。因为闩锁的行为是确定性的,数据库SCHEMA的设计,表、索引等的设计会影响闩锁争用。

非缓存页的闩锁名称为LATCH_XX,其中“_XX”后缀表示了闩锁的模式(PAGEIOLATCH/PAGELATCH也使用后缀表示模式)。SQL Server 的闩锁模式可以总结如下:

  1. KP——保持LATCH,确保引用的结构不会被破坏。当线程想要查看缓冲区结构时使用。因为 KP LATCH兼容除销毁(DT)之外的所有LATCH,因此 KP 闩锁被认为是“轻量级”的,这意味着使用它时对性能的影响最小。由于 KP 闩锁与 DT 闩锁不兼容,它会阻止任何其他线程破坏引用的结构。KP 闩锁将防止它引用的结构被lazywriter 进程破坏(脏块写盘并释放缓冲);
  2. SH -- 共享闩锁,需要读取引用的结构(例如读取数据页)。多个线程可以同时访问共享闩锁下的资源以进行读取。
  3. UP——更新闩锁,与 SH(共享闩锁)和 KP 兼容,但不兼容其他闩锁,因此不允许 EX 闩锁写入引用的结构。
  4. EX——独占闩锁,阻止其他线程写入或读取引用的结构。一个使用示例是修改页面内容以保护页面损坏。
  5. DT -- 销毁闩锁,必须在销毁引用结构的内容之前获取。例如,lazywriter 进程必须获取一个 DT 闩锁以释放一个干净的页面,然后再将其添加到可供其他线程使用的空闲缓冲区列表中。

上面的描述中关于闩锁兼容性的描述,可以用上表来表示。如果我们看到一个闩锁,可以通过”_”之后的后缀来区分其模式。比如PAGEIOLATCH_EX是一个独享的PAGEIOLATCH,LATCH_DT是一个非缓冲区保护的销毁闩锁。

和Oracle的子闩锁类似,SQLSERVER也存在类似的结构,称为superlatch或者sublatch。目的是使用多个子闩锁来提高闩锁的并发性能。SQLSERVER使用多线程结构,并采用缓冲区动态扩展的方式。因此superlatch机制与NUMA架构做了一些优化,使之更好的适应NUMA。

随着基于 NUMA 的多路/多核系统的出现越来越多,SQL Server 2005开始引入了 SuperLatches,也称为子闩锁,superlatch仅在具有 32 个或更多逻辑处理器的系统上自动启用。Superlatch 提高了 SQL 引擎在高并发 OLTP 工作负载中某些场景的效率;例如,当某些页面具有重度只读共享 (SH) 访问模式,但很少写入。具有这种访问模式的页面的一个示例是 B 树(即索引)根页面;SQL 引擎要求在 B 树中的任何级别发生页面拆分时,在根页面上保留一个共享闩锁。在插入繁重和高并发的 OLTP 工作负载中,页面拆分的数量将随着吞吐量的增加而大幅增加,这会降低性能。

SuperLatches 可以提高访问共享页面的性能,其中多个并发运行的工作线程需要 SH 闩锁。为此,SQL Server 引擎会将此类页面上的闩锁动态提升为 SuperLatch。

SuperLatch 将单个闩锁划分为一组子闩锁结构,每个 CPU 内核分配一个子闩锁,因此主闩锁成为代理重定向器,只读闩锁不需要全局状态同步。这样做时,访问某个内存总是分配给特定 CPU 的worker线程只需要获取分配给本地调度程序的共享 (SH) 子闩锁。

在为大型服务器设计的高吞吐量系统上,必定会出现高并发的闩锁争用,在此类系统中存在闩锁争用是十分正常的现象。但是当闩锁争用和闩锁等待类型等待时间大到足以降低 CPU 利用率的情况下,系统的整体吞吐量会严重下降。识别和识别闩锁争用的迹象很重要,所以让我们必须有能力来分析这种情况。SQL Server 闩锁的预期行为(与每秒事务数相关)是每秒事务数将随着平均 SQL Server 闩锁等待时间的增加而增加,其本身以缓慢的速度增加。如果数据库并发增长的趋势与闩锁等待的趋势十分接近,那么闩锁争用并没有产生额外的负面影响。如果闩锁等待幅度远远超过数据库负载的增长,那么就说明闩锁出现了严重的争用。这个判断原则在大多数情况下是有效的。

我已经比较长时间没有仔细阅读数据库厂商官方的白皮书了,通过这两天的学习,我学到了一个分析数据的方法。实际上有些指标之间是存在较为同步的关联关系的,通过上升或者下降的幅度(可以通过统计学方法计算出一个可评估的度量)之间的对比,可以发现一些系统的性能问题。以前我们做了一个指标关联性分析工具,用于发现数据库某个指标异常可能存在的问题。实际上用这种更为简单的算法,也可以发现系统中存在的一些背离预期行为的场景,并用于告警。

可能有朋友有些疑问,高并发必然有LATCH争用,必然有spinlock问题,为什么还要去这么较真的分析其原理呢?分析闩锁与spinlock的一些原理的问题并不是仅仅为了分析原理,而是要更好的用到诊断中。通过理解这些内部原理,我们可以更好的了解SQL SERVER的缓存区、IO、SQL引擎的工作原理,掌握SQL SERVER复杂问题的分析诊断与问题溯源的能力。

通过这几天的SQL SERVER内部原理的一些零散的学习,在我的脑子里SQL SERVER与Oracle的差别越来越清晰。分析问题的时候,既可以运用Oracle的一些已知原理去分析SQL SERVER的问题,又可以不僵化的刻舟求剑。今天早上我重新梳理了一下SQL SERVER IO问题分析的诊断思路,为这个思维导图增加了一些细节。

利用上面这张图去分析SQL SERVER的问题,基本上能够覆盖大部分常见问题了。我们将把这个知识图谱建立在D-SMART中。利用自动化工具来自动分析SQL SERVER的IO性能问题。实际上大多数知识图谱都是通过这样的方法构建出来的。有一些是基于专家经验,有一些是基于官方文档,有一些是基于生产环境中遇到的案例与实践。

简单介绍SQL Server里的闩锁 在今天的文章里我想谈下SQL Server使用的更高级的,轻量级的同步对象:闩锁(Latch)。闩锁是SQL Server存储引擎使用轻量级同步对象,用来保护多线程访问内存内结构。文章的第1部分我会介绍SQL Server里为什么需要闩锁,在第2部分我会给你介绍各个闩锁类型,还有你如何能对它们进行故障排除。 为什么我们需要闩锁? 闩锁首次在SQL Server 7.0里引入,同时微软首次引入了行级别锁(row-level locking)。对于行级别锁引入闩锁的概念是非常重要的,不然的话在内存中会出现丢失更新(Lost Updates)的现象。如我所说的,闩锁是存储引擎使用的轻量级同步对象,是 立即下载

相关推荐

智能车竞赛飞檐走壁组赛道制作全攻略:从电磁线铺设到立体元素搭建

本文提供了智能车竞赛飞檐走壁组赛道制作的完整指南。从电磁线选材、电流控制与精准铺设等基础入手,详细解析了垂直墙面、圆筒、跷跷板等核心立体元素的构建技巧与过渡处理。重点分享了确保赛道稳定、符合规则且便于调试的实战经验,帮助参赛队伍搭建可靠的立体赛道,为车模算法调试奠定坚实基础。

weixin_29292535的博客 1274

sql server 性能调优【等待优化】PageIOLatch(Latch等待)概念及解决思路

PAGELATCH_x和PAGEIOLATCH_x介绍相关介绍、处理,参考:https://www.pianshen.com/article/3284541245/

赵睿宇的博客 2348

SAP成本控制范围配置全流程:从货币参数到标准层次(附2024最新SPRO路径)

本文详细拆解了SAP成本控制范围(Controlling Area)的完整配置流程,涵盖从货币与估价参数文件定义、参数文件分配到控制范围,再到成本中心标准层次创建等核心步骤。文章提供了2024年最新的SPRO导航路径和实战配置要点,帮助顾问构建稳健、可扩展的管理会计基础架构,并附有常见问题排查指南。

java5的博客 939

SQL Server Latches(闩锁)

SQL Server 闩锁是一种内部的 SQL Server 机制,用于保护共享内存资源,比如缓冲池中的页面和内存数据结构,以便协调对这些资源的访问并保护它们免受破坏。在执行增长和收缩操作时,SQL Server 获取 FCB、FGCB_ADD_REMOVE 和 FGCB_ALLOC 这类闩锁,以确保对文件控制块的访问,并确保对存储在文件组中的信息同步访问。闩锁争用对于拥有大量 CPU 的系统来说是一种常见的情况,它在相同的内存结构上,多个线程同时尝试获取彼此不兼容的 SQL Server 闩锁的结果。

1761

深入浅出:拆解RK3588 DVP摄像头驱动框架,从DTS配置到V4L2子系统

本文深入解析RK3588 DVP摄像头驱动框架,从DTS配置到V4L2子系统的完整实现。详细介绍了瑞芯微RK3588的多媒体子系统架构、设备树配置逻辑、rkcif驱动与V4L2框架的交互机制,以及用户空间调试与性能优化技巧,帮助开发者解决DVP摄像头驱动中的常见问题。

weixin_42525632的博客 265

低光照图像增强:从传统方法到深度学习

低光照图像增强:从传统方法到深度学习​ 人工智能,计算机视觉,大模型,AI,本文聚焦视觉模型的偏差与公平性问题,阐述了偏差在性别、种族、年龄等方面的表现及对医疗、司法、安防等领域的影响。分析了偏差源于数据采集与标注问题及算法局限。介绍了准确率差异等公平性评估指标、相关数据集和工具,还给出数据处理、算法改进、模型训练等避免歧视的策略,并附代码示例与实际案例,为提升视觉模型公平性提供多方面参考。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 2万+

sqlserver latch

什么是bool pool sqlserver运行内存分为两类,一类是bool pool;一类是非bool pool. 开发人员只需要关注一点,bool pool是内存区域即可。 pin与spin pin pin是对对象内容的请求。可以与get一起理解 ,get是对对象的请求。 举例有一个蛋糕切成8块,对某个蛋糕的请求就是get,而对申请到的蛋糕具体的哪一块就是pin。 spin 中...

weixin_41048746的博客 1389

MATLAB地理数据处理 25:植被物候提取及分析模型优化(Savitzky-Golay)

之前我写过一篇使用Savitzky-Golay处理遥感数据,获取地面物候信息的MATLAB代码,但是发现存在一些问题:对物候开始期和物候结束期的阈值设定都为相同值,但是有些研究中,需要根据不同的环境条件,设置不同的物候阈值,所以对其进行相应的修改。

amyniez的博客,欢迎交流讨论 2233

SqlServer性能急剧下降,查看所有会话的状态及等待类型---Latch_Ex

当某个数据库文件空间用尽,做自动增长的时候,同一时间点只能有一个用户人员可以做文件自动增长动作,其他任务必须等待,此时会出现Latch资源的等待。使用sp_helpdb查看业务数据库时发现:该数据库设置不合理,数据文件每次增长2M,日志文件每次增长10%,且分别设置了最大限制。修改为每次增长200M,不限制大小,系统恢复正常,问题解决。 SqlServer阻塞时的等待类型如下:

ujm097的博客 4112

034、MLCA 多尺度局部上下文注意力的 YOLOv11 适配:轻量级金字塔式空间上下文聚合

本文介绍了一种将多尺度局部上下文注意力(MLCA)模块集成到YOLOv11模型中的方法,以解决小目标检测中空间信息丢失的问题。MLCA采用金字塔式局部上下文聚合策略,通过不重叠的网格划分实现轻量级空间注意力计算,相比全局注意力机制能更好地保留小目标特征。 作者详细记录了实现过程,包括模块定义、参数调优和训练技巧,特别指出避免使用BN而改用GroupNorm以提升训练稳定性。在VisDrone数据集上的实验表明,MLCA-YOLOv11在参数量和计算量基本不变的情况下,mAP提升2.5%,其中行人检测提升3.

sundong_81的博客 279

《UDS协议从入门到精通》系列——到底什么是DTC?

到底什么是DTC?看这里,深度图解DTC格式,详述DTC状态位、快照信息和扩展信息!!

车载系统攻城狮 1万+

SQL Server Latch & Debugging latch time out

http://mssqlwiki.com/2012/09/07/latch-timeout-and-sql-server-latch/

我的学习成长日记 1072

【网络与爬虫 49】突破WAF防线:Web应用防火墙绕过实战攻略

本文深入探讨Web应用防火墙(WAF)的工作原理与绕过技术,从基础的编码变换到高级的协议层攻击,通过实战案例和代码演示,帮助安全研究者和渗透测试人员理解现代WAF防护机制并掌握合规的绕过方法。内容涵盖SQL注入、XSS、文件上传等攻击向量的WAF绕过技术,适合网络安全从业者和爬虫开发者学习参考。

熵数实验室 1845

SQL Server Latch Classes Library

https://www.sqlskills.com/help/latches/ (Companion SQL Server Wait Types Library) This site lists all latch classes in SQL Server 2005 onward and gives detailed information about where they occur insi...

weixin_33709590的博客 366

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

LATCH_EX

Description: This wait type occurs when a thread is waiting for access to a non-page data structure so that it can modifythe data structure. The thread cannot get access to the data structure becaus...

weixin_33928137的博客 541

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【SQLServer】LATCH_EX是针对修改的锁,LATCH_SH是针对读取的锁

LATCH_EX: https://www.sqlskills.com/help/waits/latch_ex/ This wait type occurs when a thread is waiting for access to a non-page data structure so that it can modifythe data structure. LATC...

u014458962的专栏 1731

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

锁存器和自旋锁(Latch&Spinlock)----Latch类型及模式

Latch类型 Latch的存在是为了保护内存里的数据。有数百种被不同类型的Latch,其中大部分你不大可能会遇到,然而Latch等待偶尔会显示在sys.dm_os_wait_stats中。SQL Server中,Latch可分为两大类,一类是服务缓冲池的被称为BUF Latch(如sys.dm_os_wait_stats里面的PAGELATCH或PAGEIOLATCH,sys.dm_os_la

Burgess_Liu的专栏 2876

关于Latch

Latch是什么 Latch是SQL Server引擎保证内存中的结构的一致性的轻量同步机制。比如索引,数据页和内部结构(比如非叶级索引页)。SQL Server使用Buffer Latch保护缓冲池中的页,用I/O Latch保护还未加载到缓冲池的页,用Non-Buffer Latch保护内存中的内部结构。Buffer Latch:当工作线程访问缓冲池中的某个页之前,...

weixin_33767813的博客 239

关于Latch争用

Latch是什么 Latch是SQL Server引擎保证内存中的结构的一致性的轻量同步机制。比如索引,数据页和内部结构(比如非叶级索引页)。SQL Server使用Buffer Latch保护缓冲池中的页,用I/O Latch保护还未加载到缓冲池的页,用Non-Buffer Latch保护内存中的内部结构。 Buffer Latch:当工作线程访问缓冲池中的某个页之前,...

baicongli9053的博客 365

SQLSERVER LATCH WINDBG

https://mssqlwiki.com/2012/09/07/latch-timeout-and-sql-server-latch/

weixin_34127717的博客 183

Buffer Latch Timeout的解析

【问题描述】我们可能会在数据库的错误日志里,发现这么一条信息:A time-out occurred while waiting for buffer latch – type 4, bp 000000097BFDEDC0, page 1:19239, stat 0xc00009, database id: 5, allocation unit Id: 72057615247867904, task

xia_xing的专栏 1371
上一篇: 学习SQL SERVER SPINLOCK诊断
下一篇: 为SQL SERVER准备一只透视眼
DBAIOps社区
博客等级 码龄3年 970粉丝 107原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值