一次优化log_buffer_space的经历

最新推荐文章于 2024-08-16 21:28:19 发布
转载 最新推荐文章于 2024-08-16 21:28:19 发布 · 227 阅读 · 0

本文探讨了在向数据库表中批量插入数据时如何优化提交策略以避免Log Buffer Space等待事件的发生。通过实验发现，适当调整批量提交的数量可以在确保性能的同时避免日志缓冲区溢出。
当向一张表中插入大量数据时，EM中发现有log_buffer_space等待事件。该等待事件是由于重做量超出日志缓冲区而产生的。

下面介绍实验环境：

1. 日志缓冲区默认大小6M。
2. 表的行宽：NUMBER(9)*1+NUMBER(1)*76=85
3. 计划一次插入1百万行。

lgwr什么时候开始空工作的,它要有触发他的动作
  A. 重做日志缓冲区的已使用的空间达到三分之一时
  B. 当dbwn进程向磁盘写入已修改的缓冲区的时候
  C. 每隔3秒钟
  D. 用户提交事务处理时的一条提交记录(经常commit会及时刷新重做日志缓冲区空间)

如果我们每50,000行提交一次，那么50,000*85>6M的1/3，因此根据上面的A，将触发LGWR把log_buffer写入redo log，这就是LOG BUFFER SPACE产生的原因！

知道了这点，我们调整为每20,000行提交一次，这样提交前将不会超过日志缓冲区的1/3。

比较一下，单次提交量和时间的区别：

25,000 00:04:37.62
50,000 00:04:50.34
10,000 00:04:40.33
20,000 00:04:35.52

结论，20,000最佳！

注意到：不是越小越好，比如10,000就比20,000花更多时间，批量提交应尽可能越多越好，但不能超过LOG BUFFER的1/3警戒线。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/22621861/viewspace-1274302/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/22621861/viewspace-1274302/

cssg91583
关注
oracle redo log优化,实例优化——redo_log_buffer
weixin_32567865的博客
04-14 695
用户修改一条数据时，redo的一系列的行为1，用户发出一条SQL语句，Oracle为该事务分配了唯一的事务号2，服务器进程负责将需要的数据、索引和undo数据读入内存，并将要更新的行加锁3，服务器进程获得重做拷贝闩锁(闩锁实现对redo_buffer的串行使用)，该闩锁是服务器进程访问redo_log_buffer的第一步。此时如果，没有其他的闩锁使用，则别的服务器进程无法使用redo_log_b...
nginx的client_header_buffer_size、large_client_header_buffers配置解析
zzhongcy的专栏
09-29 7429
Nginx
1_log_buffer上的优化思路
wolihaito的博客
02-20 440
LGWR 进程将log buffer 中的日志条目写往在线日志的条件有如下3个： 1.事务提交时 2.log buffer 中日志条目超过1M时 3.每隔3秒是 虽然触发lgwr 进程写日志的条件很多，但在日志生成量很大的系统中（比如每秒生成10M以上），建议设置比较大的 logbuffer （如 50m）,从而防止log buffer 空间不足。 oracle 写日志特性： 1.由于lgwr 进...
log buffer及日志管理深入分析及性能调整（一）
DBA实施者
01-05 9907
1. log buffer的概念 1.1 log buffer概述 数据库在运行过程中，不可避免的要遇到各种能够导致数据块库损坏的情况。比如突然断电、oracle或者操作系统的程序bug导致数据库内部逻辑结构损坏、磁盘介质损坏等，都有可能造成数据库崩溃，从而导致数据丢失的现象发生。 为了避免，或者说为了修复这些状况所导致的数据丢失现象，oracle引入了日志缓冲区和日志文件的概念。所谓日志，
log buffer —— log buffer space
事后诸葛亮的程序人生（微信：zq9017197）
11-03 6038
欲向重做缓冲区上写入重做记录的进程，为了确保拥有重做缓冲区内必要的空间，需要获得redo allocation锁存器。已获得redo allocation锁存器的状态下，在想要得到重做缓冲区时，若没有适当的剩余空间，则需要等到直到获得空间为止。这时，根据情况等待两种事件。如果当前正在使用的重做日志文件已满，因此无法获得剩余空间，LGWR就会执行日志文件切换，服务器进程则等待log file swi
等待事件 log buffer space（日志缓冲空间）
小楼一夜听春雨，深巷明朝卖杏花
07-02 6238
 log Buffer Space-日志缓冲空间 当数据库产生日志的速度比 LGWR 的写出速度快，或者是当日志切换（ log switch）太慢时，就会发生这种等待。这个等待出现时，通常表明 redo log buffer 过小， 为解决这个问题，可以考虑增大日志文件的大小，或者增加日志缓冲区的大小。 另外一个可能的原因是磁盘 I/O 存在瓶颈，可以考虑使用写入速度更快的磁盘。在允许的条件下...
log buffer space、log file switch、log file sync
LinusFay
12-08 1747
log buffer space log buffer space 等待事件表示某个进程等待日志缓冲区中的空间。不管是日志缓冲区过小，还是重做信息写产生过快。均使日志写入经常不能将其写入到重做日志缓冲区中。查看log buffer大下。如果过小，适当增大size。如果log buffer已经足够大，则要考虑是否存在I/O争用 log file switch log f
innodb_buffer_pool_size过小+同步任务目标表过大，导致MySQL无法处理正常请求
自由人的博客
08-16 904
innodb_buffer_pool_size过小+同步任务目标表过大，导致MySQL无法处理正常请求
MySQL relay_log_recovery源码分析
w1346561235的博客
03-25 1470
此处所列代码为mysql8.0.23版本，其它版本可能略有差异。 relay_log_recovery按照官方文档描述，在server启动的时候，会创建新的relay_log，并将sql_thread指向新的relay_log坐标，并且引导io_thread将从master读取的event写入新的relay log中。从而跳过旧的relay log的apply，进而避免旧的relay log出现问题导致复制出现问题。 但是在MTS下，在出现复制gap的时候，仍然需要在旧的relay log上将gap补齐
解决SOCKET通信 ERROR_INSUFFICIENT_BUFFER错误
aibulie0537的博客
03-18 3042
错误发生在服务端异步收到一个socket连接，之后使用WSAGetLastError()得到的IO错误码是122 这个错误码在系统中的解释是The data area passed to a system call is too small. 就是说前面的某个buffer设置的太小，看一下上一个调用的winapi是acceptEx这个函数；下面是代码（这是错误的） t...
延迟有关的常见等待事件
喝醉酒的小白
05-11 966
本文分析了Oracle数据库中五种常见的等待事件及其优化建议：1）log file sync：与事务提交相关，建议合并小事务并优化日志磁盘性能；2）log buffer space：日志缓冲区不足导致，建议增大缓冲区或优化事务量；3）free buffer waits：缓冲区高速缓存不足，建议调整缓存大小或优化查询；4）wait complete waits：DBWR写入延迟，建议提升磁盘性能或调整检查点；5）log file switch：日志切换频繁，建议增大日志组或优化事务。这些问题的核心都与I/O性
等待事件 log buffer space
喝醉酒的小白
07-05 2241
select inst_id,username,event,count(*) from gv$session where wait_class<>'Idle' group by inst_id,username,event order by 4; alter system set commit_logging='BATCH'； 等待事件 log buffer space
Oracle等待事件之四---log相关等待事件
竹林晚风
08-29 1312
一、Log file parallel write 后台进程LGWR负责将log buffer当中的数据写入到REDO文件中，以重用log buffer的数据。如果每个REDO LOG组里面有2个以上的成员，那么LGWR进程将会并行地将REDO信息写入到这些文件中。 如果数据库中出现这个等待事件的瓶颈，主要原因可能是磁盘I/O性能不够或者REDO文件的分布导致了I/O的争用，比如同一个组的RE
Oracle Study之--Oracle等待事件（9）
weixin_34062469的博客
08-08 127
Oracle Study之--Oracle等待事件（9）Log buffer space当log buffer 中没有可用空间来存放新产生的redo log数据时，就会发生log buffer space等待事件。如果数据库中新产生的redo log的数量大于LGWR 写入到磁盘中的redo log 数量，必须等待LGWR 完成写入磁盘的操作，LGWR必须确保redo lo...
与log相关的等待事件及解决方法
冰刀(skate)
10-11 1738
author:skatetime:2009/10/11 一. log buffer的优化 日志块的都是按照顺序往里写，不存在更新日志块的以前的内容，同时每个日志块大小都很小，是操作系统数据块的大小（一般为512k），所以几乎不会有多个进程抢同一个日志块的情况。其争用主要是进程由于找不到可用的日志块而必须等待的情况。而我们知道LGWR负责释放脏的日志块从而提供可用日志块，LGWR
log buffer space等待事件
weixin_33681778的博客
08-27 328
最近，我们有台服务器在delete操作期间发现一直在等待log buffer space，其他节点就没与这个问题。经查，向重做缓冲区上写入重做记录的进程，为了确保拥有重做缓冲区内必要的空间，需要获得redo allocation锁存器。已获得redo allocation锁存器的状态下，在想要得到重做缓冲区时，若没有适当的剩余空间，则需要等到直到获得空间为止。这时，根据情况等待两种事件。如果当前正...
oracle的log buffer,6.log buffer spaces
weixin_39955421的博客
04-05 421
log buffer spaces等待事件原创 2017-08-04 Oracle 宅必备从今天开始讲解awr报告Top 5 Timed Events部分今天讲log buffer space等待事件log buffer spacelog buffer space 这个等待事件一般来说很少发生，一旦等待比较严重 往往说明系统的设置问题如何发生的我们知道Oracle的一些DML操作(insert,u...
Oracle常见等待事件
陈泽钦的博客
12-06 2150
Oracle常见等待事件buffer busy waitsfree buffer waitslibrary cache locklibrary cache pindb file scattered readdirect path readdirect path writelog buffer spacelog file sequential readlog file switch（archiving need）log file switch（checkpoint incomplete）log file sy
Redo Log Buffer初步调优
tom555cat
06-11 2045
The Redo Log Buffer LGWR只有1个进程，不像DBWn可以有多个。LGWR速度受限于ARCn和DBWn。 when LGWR writes? A user process commits a transactionEvery three secondswhen the redo log buffer is one-third fullwhen a DBWn p
STA_LOG_OFF和 STA_LOG_ON
最新发布
09-26
<think>我们正在讨论的是STA_LOG_ON和STA_LOG_OFF，但根据之前的引用，这些术语在Oracle等待事件、系统日志文件或内核定时机制中都没有直接提及。然而，结合用户上一次的问题（关于STA 96:C5:91:F5:F9:41的登录），我们可以推断用户可能是在询问无线网络中的站点（STA）的登录（log on）和注销（log off）事件。 因此，我们需要调整方向：STA_LOG_ON 和 STA_LOG_OFF 应该是指无线网络中站点（STA）的登录和注销事件。 下面我将从无线网络的角度解释这两个事件的含义、作用及相关知识。 ### 一、STA_LOG_ON（站点登录）的含义与作用 1. **基本定义** STA_LOG_ON 指的是无线站点（如手机、笔记本电脑）成功连接到无线接入点（AP）的过程。在802.11协议中，这个过程包括： - **认证（Authentication）**：站点向AP证明自己的身份（如通过MAC地址或802.1X凭证）。 - **关联（Association）**：站点与AP建立数据链路，获取网络资源（如IP地址）。 2. **技术流程** 登录过程遵循严格的协议交互： ```mermaid sequenceDiagram STA->>AP: 认证请求帧 (Authentication Request) AP->>STA: 认证响应帧 (Authentication Response) STA->>AP: 关联请求帧 (Association Request) AP->>STA: 关联响应帧 (Association Response) ``` 成功后会建立逻辑连接，AP为STA分配关联标识符（AID）[^1]。 3. **关键参数** - **信号质量**：STA登录成功需满足： $$ \text{RSSI} \geq -75\text{dBm} \quad \wedge \quad \text{SNR} \geq 20\text{dB} $$ - **安全协议**：WPA2/WPA3加密影响认证效率。 ### 二、STA_LOG_OFF（站点注销）的含义与作用 1. **基本定义** STA_LOG_OFF 指站点主动断开与AP的连接或因超时被强制注销的过程。触发条件包括： - 用户手动断开Wi-Fi - 空闲超时（通常为30分钟无数据交互） - 信号丢失（RSSI持续<-85dBm） 2. **协议流程** 规范的注销应发送解除认证帧（Deauthentication Frame）： ```mermaid sequenceDiagram STA->>AP: 解除认证帧 (Reason Code=3) AP->>STA: 确认帧 (ACK) ``` 非正常断连（如设备关机）会导致AP等待超时后才清除会话[^2]。 3. **资源回收** AP在注销后执行： - 释放AID - 清除ARP缓存 - 更新MAC地址表 ### 三、监控与诊断方法 1. **日志分析** 在AP控制器查看STA事件记录： ```bash # Cisco WLC示例 show client detail 96:C5:91:F5:F9:41 | include (Associated|Disassociated) ``` 输出包含登录/注销时间戳及原因码。 2. **抓包解析** 使用Wireshark过滤关键帧： - **登录过程**：`wlan.fc.type_subtype == 0x00 || wlan.fc.type_subtype == 0x0b` - **注销过程**：`wlan.fc.type_subtype == 0x0c`（解除认证帧） 3. **信号追踪** 通过RSSI历史数据判断异常： ```bash # 在Linux AP上获取STA信号记录 iw dev wlan0 station get 96:C5:91:F5:F9:41 | grep "signal:" ``` ### 四、常见问题排查 | 问题现象 | 可能原因 | 解决方案 | |-------------------------|---------------------------|------------------------| | STA频繁登录注销 | 信号波动/信道干扰 | 优化AP位置或更换信道 | | 注销后IP未释放 | DHCP租期过长 | 缩短租期至1小时 | | 解除认证帧频发 (Code 7) | 密钥协商失败 | 检查WPA2/WPA3兼容性 | > 📌 **最佳实践**：启用802.11k/v协议可减少异常注销，其预测算法满足： > $$ \text{漫游阈值} = \min(\text{RSSI}_{current} - \text{RSSI}_{target} > 10\text{dB}) $$ --- §§相关问题§§ 1. 802.11协议中解除认证帧的Reason Code有哪些具体含义？ 2. 如何通过DHCP日志追踪STA登录后的IP分配记录？ 3. 为什么某些STA会在信号良好时突然注销？ 4. 企业无线网络中如何配置AP强制异常STA下线？ </think>### STA_LOG_ON 与 STA_LOG_OFF 技术解析 #### 一、核心定义与作用 1. **STA_LOG_ON** - **含义**：表示无线站点（STA）成功完成认证和关联过程，建立与AP的连接 - **触发条件**： - 802.11认证成功（开放系统/WPA2/WPA3） - 关联响应帧接收（状态码0：成功） - 密钥协商完成（4次握手成功） - **系统记录**： - AP日志生成连接事件（包含时间戳、RSSI、MAC地址） - DHCP服务器分配IP地址 2. **STA_LOG_OFF** - **含义**：表示STA主动断开或被动丢失与AP的连接 - **触发场景**： ```mermaid graph LR A[STA主动断开] --> B(发送解除认证帧) C[被动断开] --> D{原因} D --> E1(信号衰减 RSSI < -85dBm) D --> E2(认证超时) D --> E3(AP强制踢除) ``` - **关键协议帧**： - 解除认证帧（Deauthentication, 类型0x0C） - 解除关联帧（Disassociation, 类型0x0A） #### 二、日志记录与监控 1. **日志存储位置** - AP控制器日志：`/var/log/wireless`（记录MAC、事件类型、时间戳） - DHCP日志：`/var/log/dhcpd.log`（记录IP分配与释放） - 系统监控工具： ```bash # 查看实时连接状态（Linux） iw dev wlan0 station dump ``` 2. **历史数据分析** - 使用SAR工具解析历史记录： ```bash sar -f /var/log/sa/sa15 # 查看15号历史数据[^2] ``` - 关键监控指标： | 指标 | 正常范围 | 异常阈值 | |--------------|---------------|----------------| | 连接成功率 | >98% | <90% | | 平均重连时间 | <200ms | >500ms | | 异常断开率 | <5次/小时 | >20次/小时 | #### 三、故障诊断关联 1. **LOG_ON失败根源** - 认证失败（WPA2密钥错误）→ 触发`buffer busy waits`[^1] - 射频干扰 → RSSI波动满足： $$ \Delta\text{RSSI} > 10\text{dBm/秒} $$ - 资源竞争 → 日志出现`log buffer space`警告[^1] 2. **异常LOG_OFF分析** - 频繁断开伴随`log file parallel write`延迟 → 指向存储I/O瓶颈[^1] - 定时断连 → 检查看门狗机制（`wdog`定时器超时）[^3] - 漫游失败 → 802.11r协议未启用或配置错误 #### 四、最佳实践 1. **稳定性优化** - 启用802.11k/v协议减少被动断开 - 调整认证超时参数： $$ T_{auth} = \min(3000ms, \ 2 \times RTT_{avg} + 100ms) $$ 2. **日志增强配置** ```bash # Cisco AP示例 config wireless logging station enable config wireless logging level debug ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值