LOG FILE SYNC概述(第六篇)


PL/SQL commit优化

传统情况下,当用户发出commit后,用户会话会等待log file sync直到lgwr写完成。LGWR写完成后,通知处于前台进程继续处理后面的操作。这个机制保障了事务的持久性,满足了事务ACID的D。但是PL/SQL不是这么工作的:PL/SQL里的commit 操作不会等待lgwr写完成就可以继续处理后面的操作。简单的看个例子:


begin
for r in (select id from t1 where mod(id, 20) = 0) loop
update t1 set small_no = small_no + .1 where id = r.id;
commit;
end loop;
end;
/


查看session 和 sys相关的统计信息如下:

user commits (session statistic)      25
messages sent (session statistic)      6
redo synch writes(session statistic)   1
log file sync (session events)         1
messages received (lgwr statistic)     6
redo writes (lgwr statistic)           6
log file parallel write (lgwr events)  6


Lgwr仅仅写了6次(log file parallel write),用户会话仅仅等待了log file sync一次。那意味着会话发出commit命令后,并没有停下来等待lgwr写完成,就继续处理后面的事务了。用户会话没有遵守事务的持久化原则!!如果实例在PL/SQL处理的过程中crash,那么某些提交的事务是不可恢复的。Oracle对此有一个貌似合理的解释,在PL/SQL没有处理完毕之前,你不知道已经提交了多少次,Oracle不会使他们可恢复,只有在PL/SQL结束的时候,增加redo sync writes次数和前台进程进入log file sync等待。在进行PL/SQL处理期间,不停的查看等待事件,后台看不到任何的log file sync等待。还有就是统计资料里显示了会话总共向lgwr发送了6次message sent请求(请求写日志),lgwr也接受到了6次message recived信息,并且写了6次(log file parallel write)。你可能会问,到底多久,会话发送一次写请求?每次前台进程给LGWR发送写请求前,会去持有redo writing latch,然后检查lgwr是不是已经在处理写请求了,如果lgwr已经在写了,前台进程不会向LGWR发送请求,也不会等待log fil sync,直接继续完成后续的操作,如果lgwr没在写,前台进程通知lgwr去写,但是不会等待log file sync,还是继续完成后续的操作,只有在PL/SQL结束的时候,才会最终等待一次log file sync。因此如果你的磁盘写的速率足够快,那么lgwr就会被post的次数越多,成正比的关系。还有如果你的CPU足够强,那么PL/SQL块loop的时间就足够小,时间小了,那么lgwr被post的次数也就少了,成反比的关系(在磁盘写速率一定的情况下)。
值得注意的是,如果PL/SQL里包含了DBLINK,那么就会使用传统的提交方式,不会产生出这样的“异常”。    
最后提醒一句:虽然PL/SQL只有在结束的时候才会等待lgwr写完成,产生log file sync等待,但是不要认为,在PL/SQL运行过程中,实例crash掉,此次PL/SQL处理的所有事务就会丢失,不是这样的,只是丢失部分,pl/sql在运行过程中,会话是一直检查lgwr是不是在工作的,如果没在工作,就发送写请求给lgwr的(message sent),lgwr接收到写请求后,就要写日志,只要是被写进了日志文件的事务就是可恢复的。也就是说,虽然前台没有等待log file sync,但是后台其实一直是在忙着处理你的事务日志的。

log file sync与buffer busy waits

事务在进行提交的时候,对事务修改的,还在内存里的块做commit cleanout,其实主要就是设置ITL槽位里的commit scn,不会去清楚lb信息。ORACLE在进行commit cleanout期间,会获取相关buffer的buffer pin,而且是排他模式获取,这个pin直到lgwr把日志刷入到磁盘才释放,如果在此期间,有进程对相关的buffer进行select/update/insert就会造成buffer busy waits。因此如果你的系统log file sync指标很高,也可能会导致一定程度的buffer busy waits等待事件。

被误导的平均数


平均数有时候是非常害人的,例如臭名昭彰的buffer cache命中率,命中率本身就是一种平均数思维。这里有一个有趣的log file sync和log file parallel write跟平均数有关的一个案例。

任何ORACLE DBA都应该是一个AWR报告的粉丝,我也不例外,经常能从AWR报告中发现一些系统的蛛丝马迹。如下面的一份报告:

                 Per Second   Per Transaction

                 ----------   ---------------

Redo size:       140,604.47            325.65

Logical reads:      16,712.80             38.71

Block changes:       904.42                2.09

Physical reads:        7.59                 0.02

Physical writes:      70.76                 0.16

User calls:        2,069.02                4.79

Parses:             342.31                 0.79

Hard parses:          0.07                  0

Sorts:              52.54                 0.12

Logons:             0.47              0

Executes:           342.82                 0.79

Transactions:         431.77

从上面的profile中可以看出这个系统的负载不大,逻辑读和物理读都不搞,是一个良好的使用了绑定变量的系统,因为硬解析数很低,每秒的执行次数也很低只有300多次,系统的事务数比较高,每秒400多次。而且系统的回滚率稍微有点高,因为事务数明显的大过了执行次数,等等。

我们继续看等待事件部分的AWR报告:

Event              Waits  Time(s)  AvgWait   % Total Wait Class

-----                       -----  -------  -------   ------- ----------

log file sync        357,552  22,427   63    90.4   Commit    

CPU time                  1,636    6.6                     

log file parallel write 275,265  972     4     3.9   System I/O

read by other session   7,848   533    68     2.1   User I/O  

db file parallel write   87,473  325    4     1.3   System I/O

从等待事件来看,这个系统遭遇着严重的log file sync等待,每次log file sync等待的时间已经达到了63ms,准确的说应该是,log file sync的平均等待时间已经达到了63ms。但是log file parallel write等待事件的平均等待时间只有4ms。两者差了59ms之多,4ms的log file parallel write其实不算高,就像我们前面提到的,如果log file sync的等待时间明显大于log file parallel write时间的话,那么最好检查一下CPU资源是否富足。通过sar查看AWR报告采样时间段内的CPU资源使用率,非常的低,10%不到。那原因隐藏在那呢?

首先我们需要明确,一次log file parallel write可能会导致多次log file sync,因为log file parallel write是发生在后台进程lgwr上的等待事件,而log file sync是前台用户进程的等待事件,非常可能多个用户进程同时等待log file sync等待lgwr写(group commit的作用)。

接着刚才的案例,通过查看lgwr的trace文件发现,日志里每隔几分钟就会出现写超时警告,这是10G时出现的功能,莫非是主机的raid卡的cache被写穿了?但是如果是写有问题,为什么log file parallel write的指标值很正常只有4ms呢?这主要的原因是,慢写是非常慢的,大多数的写都是非常快的。我们可以算一笔账:

3000次写非常快,每次花费0.5ms

20次写速度极慢,每次花费1000ms

2000次写,速度正常,每次花费1ms

总共花费的时间为:3000*0.5+20*1000+2000*1=23500 ms

平均的响应时间为:23500/5020=4.68ms

这个数字跟AWR报告中看到的数字非常接近了。但是仔细观察会发现,20次极慢的写时间占了总时间的85%,但是它的执行次数占总次数的比例只有0.4%。

我们接下来看log file sync受平均数影响的程度。我们来计算一下每次等待1000ms的log file parallel write等待的时候,log file sync等待了多长时间。除去回滚的事务,我们可以认为系统每秒的提交数为342次。我们假设在这1000ms内,这些事务是到达的,按照三角形面积的计算公式:

1000*342/2=171000ms。

等待一次1000ms的log file parallel write要等待171000ms的log file sync。当等待1000ms的log file parallel write结束后,又开始等待快速的log file parallel write

按照如上的算法:

· 3000 次log file sync等待在0.5ms = 1096ms

· 20次log file sync等待在1000ms= 3,420,000 ms

· 2000次log file sync等待在1ms = 2923ms

· 这总的等待次数是5000+20*342=11840,对比5020此的log file parallel write。总共的等待时间为3424019,我们算一下平均数:为289ms。对比4.68ms的log file parallel write

Adaptive Log File Sync

Adaptive Log File sync was introduced in 11.2. The parameter controlling this feature, _use_adaptive_log_file_sync, is set to false by default in 11.2.0.1 and 11.2.0.2.

In 11.2.0.3 the default is now true. When enabled, Oracle can switches between the 2 methods:

· Post/wait, traditional method for posting completion of writes to redo log

LGWR explicitly posts all processes waiting for the commit to complete.
The advantage of the post/wait method is that sessions should find out almost immediately when the redo has been flushed to disk.

· Polling, a new method where the foreground process checks if the LGWR has completed the write.

Foreground processes sleep and poll to see if the commit is complete.
The advantage of this new method is to free LGWR from having to inform many processes waiting on commit to complete thereby freeing high CPU usage by the LGWR.

when mode switches, it will write message to LGWR trace file.

*** 2012-10-02 08:15:47.049
kcrfw_update_adaptive_sync_mode: post->poll long#=316 sync#=1719 sync=247657
poll=12382 rw=6191 rw+=13890 ack=0 min_sleep=10023

But per my experience, “Polling” mode will cause higher average wait time of “log file sync” and is not a stable LGWR algorithm for heavy OLTP workload. It can be disabled by “alter system”.

Reference


12C在Oracle 11g中 Data Guard的redo传输工作主要由以下3组后台进程实现:

ARCi (FAL – archived redo shipping, ping, local only archivals)

NSAi (async) 12.1 name: TTnn ,

NSSi (sync) –– live redo shipping

但从版本12c开始 使用TTnn  例如TT00进程来负责async 异步的redo传输。 另一个后台进程TMON来负责做Redo transport monitor。

SQL> select banner from v$version where rownum=1;


BANNER

--------------------------------------------------------------------------------

Oracle Database 12c Enterprise Edition Release 12.1.0.1.0 - 64bit Production


SQL> select program,pid from v$process where program like '%TMON%' or Program like '%TT%';


PROGRAM                               PID

------------------------------ ----------

ORACLE.EXE (TMON)                       7

ORACLE.EXE (TT00)                      24


这样做的目的是 在11g 中因为NSAi async redo ship异步传输进程仍需要LGWR进程的通知才能工作,造成短暂的redo 传输延迟; 所以在12c中TTnn进程的redo传输不再依赖于LGWR。

注意是  这里讨论的是async redo ship 异步redo传输!




来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22034023/viewspace-2153262/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/22034023/viewspace-2153262/

gc buffer busy/gcs log flush sync与log file sync 这篇博文整理自我的帖子: RAC中的gc current block busy与redo log flush   对于log file sync(本质上是 write redolog慢)引发gc buffer busy acquire /release 集群等待事件的这个命题的真伪,其实Oracle在开发性能调优组件ADDM时一早给了我们答案:   RECOMMENDATI 阅读详情

相关推荐

Log File Sync等待事件分析

这种LGWR的突发写入特性,再加上系统中其他IO操作的影响,可能导致IO性能并非长期稳定,而是会出现一段高IO负载突发期(峰值),随后紧跟一段低IO负载期。当用户执行DML(如INSERT/UPDATE/DELETE)或 DDL(如CREATE/ALTER) 操作时,redo日志会被实时生成,用于记录“数据修改的细节”(如修改前的值、修改后的值、涉及的数据块位置等),目的是在数据库崩溃时通过redo日志重演操作,恢复数据。但需注意,500毫秒是一个相当高的阈值,因此未出现此类记录并不一定意味着不存在问题。

Sebastien23的博客 279

oracle commit_log,Oracle log file sync 等待事件 与 COMMIT_WAIT,COMMIT_LOGGING 参数说明

在Oracle 数据库中,log file sync是一个非常常见的等待事件,导致该事件的原因主要有2个因素:一是commit提交过于频繁,二是redo log 对应的IO根不上。 所以对于log file sync等待事件我们通常考虑的是用SSD 来提升IO,增加online redo log 文件的大小,或者从业务侧降低commit频率。在MOS文章:RAC 环境中最常见的 5 个数据库和/或...

weixin_36349918的博客 914

Apollo学习笔记(4)坐标系

百度Apollo项目用到了多种坐标系,其中帮助文档提及的坐标系包括: 全球地理坐标系(The Global Geographic coordinate system ) 局部坐标系—东-北-天坐标(The Local Frame – East-North-Up,ENU) 车身坐标系—右-前-天坐标(The Vehicle Frame —Right-Forward-Up,RFU) 车身坐标系—前-左-天坐标(The Vehicle Frame —Front-Left-Up,FLU) 还有一种Frenet坐标

qq_24649627的博客 5798

C#-Async关键字(异步方法)

async关键字(异步方法)async关键字是C#特有的。Java没有这玩意。async关键字用来修... async关键字用来修饰两类方法: lambda表达式或者异步方法。 拥...

MrLsss的博客 1万+

IROS 2025机器人技术解析:从诡异设计到硬核应用

机器人技术正从传统的结构化环境应用,迈向复杂非结构化场景的深度交互。其核心原理在于通过仿生设计、多模态感知与智能控制算法,赋予机器人类似生物的适应性与交互能力。这一技术演进的价值在于突破传统机器人在极端环境、精密操作和自然交互中的瓶颈。例如,结合深度强化学习的全身动力学控制,使机器人能在废墟、管道等复杂地形中自主导航;而软体机器人技术则通过材料变形实现安全、柔顺的抓取操作。这些技术最终服务于极端环境巡检、精密装配和高端陪护等刚性应用场景,推动机器人从功能实现迈向与环境、人进行深度、智能交互的新阶段。

weixin_34006468的博客 453

暴力破解pdf文档密码

相信小伙伴们都遇到这种情况;你收到了一些标题很吸引人的pdf文档 或者是重要数据泄露 学习资料总结,再或者是某机构的押题密卷,打开pdf却提示你要输入密码 因为不知道密码 只能弃罢。我就遇到过这种情况 网友发来了标题为某天一的押题密卷 ,我也想看看这个卷子的题怎么样,因为被设置了密码 我尝试用6到10位的纯数字组合来暴力破解这个pdf,结果三 四个小时都没找到正确的密码。有些网友为破解这个密码 请某宝某多来破解 也都没有破解成功。

shelter1234567的博客 1万+

C#之同步、异步、多线程

C#之同步、异步、多线程今天我们来一起学习C#中的同步。异步以及多线程。在学习这些之前,我们先来简单地了解下进程和线程之间的关系,一个应用程序即一个进程,而一个进程的执行需要多个线程来辅助,所以运行一个进程后,会运行多个线程。所谓的同步,即按照代码的顺序执行,也就是用同一个线程来执行所有的操作。而在执行异步操作时,会启动多个线程来执行各个操作,并且他们开启的顺序以及执行的时间各不相同,具体的区别我们

时间蜗牛的博客 2840

2023最新版kali安装教程

2023最新版kali安装教程 打开kali官网(https://www.kali.org/),下载kali镜像

qq_46346209的博客 2万+

如何在C#中从同步方法调用异步方法?

我有一个public async void Foo()方法,我想从同步方法中调用它。 到目前为止,我从MSDN文档中看到的所有内容都是通过异步方法调用异步方法,但是我的整个程序不是使用异步方法构

p15097962069的博客 8022

YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】

YOLOv8改进,小目标检测,yolov8

kay_545 6023

clock min pulse width检查

高电平脉宽 = clock fall edge到达FF/CK的时间 - clock rise edge到达FF/CK的时间;低电平脉宽 = 下一T clock rise edge到达FF/CK的时间 - clock fall edge到达FF/CK的时间。而required pulse width是根据FF/CK处的transition,根据查找表计算得到的。为什么clock transition越大,会导致required pulse width越大呢?5、 降低clock上的串扰。

芯冰乐 580

Oracle-log file sync等待事件分析

Oracle-log file sync等待事件分析

sinat_36757755的博客 6546

ubuntu下编译qtwebengine

ubuntu qtwebengine

tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly 1465

如何优化LOG FILE SYNC

如何优化LOG FILE SYNC 在一个提交十分频繁的系统中,我们经常会看到LOG FIEL SYNC等待事件排在TO EVENTS中。这种情况下,我们可能就需要针对LOG FILE SYNC等待事件进行优化了。 首先我们会看一下这个等待事件平均的等待时长,正常情况下这个等待事件的平均等待时间不会超过10毫秒,如果等待时间太长,那说明LOG WRITER每次写入的时间过长,如果能够优

MaserattiKaka 1087

AUTOSAR从入门到精通-诊断事件管理模块(DEM)(四)

在 Autosar 中,诊断事件是指在车辆电子系统中发生的特定事件,可以用于诊断和故障排除。DEM模块通过EventId和相关的EventName来表示每个诊断事件。诊断事件的状态代表了监控器的结果,DEM模块通过RTE或其他BSW模块从SW-C接收监控器的结果。DEM模块使用EventId来管理系统中每个诊断事件的状态,并对各个测试结果执行所需的操作,例如存储冻结帧/拓展帧。所有监控器和BSW模块使用EventId作为符号化的EventName来管理诊断事件。

getusushu的博客 1511

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

如何优化log file sync

http://www.oraclefans.cn/forum/showtopic.jsp?rootid=40023 1.5.10如何优化LOGFILESYNC 在一个提交十分频繁的系统中,我们经常会看到LOGFIELSYNC等待事件排在TOEVENTS中。这种情况下,我们可能就需要针对LOGFILESYNC等待事件进行优化了。 首先我们会看一下这个等待事件平均...

dd334566788566的博客 117

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

log file sync 诊断脚本

文档 ID 1064487.1) log file sync 诊断脚本内容如下:-- NAME: LFSDIAG.SQL-- -------------------------------------------------------------------------- AUTHOR: Michael Polaski - Oracle Support Services-- ----------

小伟的博客 1051

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Log File Sync/Log File Parallel Write (单实例)

当用户执行完事务(insert插入数据)执行commit命令后,Oracle后台LGWR进程需要redo log buffer -> online redo log files,写入后返回Commit complete。这个过程过慢Log File Sync等待事件。 Log File Parallel Write是LGWR进程开始执行到结束这个过程的等待事件。 ...

喝醉酒的小白 3432

ADAPTIVE LOG FILE SYNC 引起的高Log File Sync警示

原文地址:http://www.eygle.com/archives/2017/03/adaptive_log_file_sync.html作者:eygle |English 【转载时请标明出处和作者信息】|【恩墨学院 OCM培训传DBA成功之道】链接:http://www.eygle.com/archives/2017/03/adaptive_log_file_sync.html关于 Log F...

cuiyan1982的专栏 462

LOG FILE SYNC概述

log file sycn是ORACLE里最普遍的等待事件之一,一般log file sycn的等待时间都非常短 1-5ms,不会有什么问题,但是一旦出问题,往往都比较难解决。什么时候会产生log file sync等待? 常见有以下几种: 1)commit操作 2)rollback操作 3)DDL操作(DDL操作实施前都会首先进行一次commit) 4)DDL操作导致的数据字典修改

rudy gao 4465

故障处理:Troubleshooting: ‘Log file sync’ Waits

摘要:本文深入解析Oracle数据库中的"log file sync"等待事件,从生命周期、诊断点到解决方案进行全面探讨。文章首先介绍该事件在事务提交时的关键作用,详细描述了其12个处理步骤的生命周期。针对诊断点,重点分析三个核心问题:LGWR进程优先级不足、I/O性能差导致log并行写入延迟高,以及RAC环境下SCN同步延迟。作者提供了多种诊断方法,包括查看系统视图、分析AWR报告、启用LGWR跟踪等,并给出对应的优化建议。文章强调理解完整处理流程对准确诊断的重要性,适合Oracle

提供数据库技术支持(系统优化,故障处理,安装升级,数据恢复等) 1209

LGWR 阻塞 log file sync

os: centos 7.4 db: oracle 11.2.0.4 11gr2 写日志缓冲区到文件方式保留 Post/wait方式 外,增加了 Polling 的方式, 11.2.0.3开始默认是两种方式自动切换。它是通过隐含参数 _use_adaptive_log_file_sync 进行设置。 Post/wait 模式 lgwr进程在将日志写入磁盘后,会立刻通知前台进程,log file s...

一名数据库爱好者的专栏 1357

Adaptive Log File Sync

Adaptive Log File sync was introduced in 11.2. The parameter controlling this feature, _use_adaptive_log_file_sync, is set to false by default in 11.2.0.1 and 11.2.0.2. In 11.2.0.3 the default is no...

Lin's Tech Log 306

log file sync排查方向

log file sync 数据库性能问题分析摘要:1.高频率事务处理(123万次提交,每秒339次);2.I/O瓶颈表现为logfile parallel write等待事件(正常应<20ms),需检查LGWR日志和I/O指标;3.日志缓冲区过大;4.CPU负载过高;5.RAC私有网络延迟导致LMS同步问题;6.控制文件争用(可能因RMAN、ASM磁盘I/O或v$视图频繁访问);7.已知Bug 11203(DocID13074706.8)。建议检查AWR报告中KeyInstanceA

汪灵骅的博客 299

_use_adaptive_log_file_sync设置 降低log_file_sync等待

_use_adaptive_log_file_sync该参数在commit次数较多的系统中,post/wait and polling特性对性能影响明显,主要是在写日志上的等待上影响了事务的提交速度.建议在11g中...

cpc84938的博客 1100
上一篇: LOG FILE SYNC概述(第五篇)
下一篇: 事务隔离级别读书笔记分享
cotchte0421
博客等级 码龄12年 5粉丝 110原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值