为什么binlog大小会大于max_binlog_size？

最新推荐文章于 2024-03-25 14:31:20 发布

转载最新推荐文章于 2024-03-25 14:31:20 发布 · 636 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/daquan/blog/480737

文章标签：

#数据库

本文深入探讨了MySQL在处理大事务时导致Binlog抖动的原因，具体分析了bulkinsert等操作如何引起Binlog文件大小异常，并提供了拆分大事务、选择业务低峰期处理等解决策略，旨在帮助数据库管理员有效管理和优化数据库性能。

为什么80%的码农都做不了架构师？>>>

CASE:

mysql的IO处理上有抖动，　从日值上观查binlog最大的有(512M)大于max_binlog_size(128M)

原因：

当mysql在处理大事务时，不会进行binlog切换，所有的日值还是会写到一个数据文件里．

如：　bulk insert之类的操作

解决办法：

拆分大事务．　或是把大事务处理放到业务低峰期，避免大事务对业务的冲击.

特别提示：　

看到这种现象可以通过分析binlog查到是什么操作，　可以通过业务的方面考虑一下怎么规避．

转载于:https://my.oschina.net/daquan/blog/480737

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33690963

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

mysql binlog 设置日志大小保存时间

Bertram的博客

01-20

4952

目录 binlog 设置日志大小保存时间常用命令 binlog 设置日志大小保存时间 mysql开启了二进制日志binlog，如mysql-bin.000005等，重启服务后会自动更新这个文件，如原来是000005的话会生成000006。请问，如果服务一直不重启，什么情况下会自动产生新的日志文件呢，是大小到了一定量时自动产生新的文件么？比如000005到了1G，原来000005的话会自动生成一个000006，以后就走6这个了。是根据什么？ mysqld在每个二进制日志名后面添加一个数字扩

Binlog 必知

lazyboy2的博客

06-04

1618

Binlog 的主要作用有两个：Binlog 包括两类文件：Binlog 日志功能默认是开启的，线上情况下 Binlog 日志的增长速度是很快的，在 MySQL 的配置文件中提供一些参数来对 Binlog 进行设置。需要注意的是：max_binlog_size ：Binlog 最大和默认值是 1G，该设置并不能严格控制 Binlog 的大小，尤其是 Binlog 比较靠近最大值而又遇到一个比较大事务时，为了保证事务的完整性不可能做切换日志的动作，只能将该事务的所有 SQL 都记录进当前日志直到事务结束

参与评论您还未登录，请先登录后发表或查看评论

为什么单个binlog会大于max_binlog_size设置

yiyuf的专栏

11-05

1508

mysql> show global variables like '%max_binlog_size%'; +-----------------+------------+ | Variable_name | Value | +-----------------+------------+ | max_binlog_size | 1073741824 | +-------

为什么有时候binlog文件会很大于max_binlog_size以及max_binlog_cache_size

weixin_30345577的博客

01-30

876

问题描述线上一个很有意思的现象，发现binlog文件大小是15G，查看了参数max_binlog_size是1073741824[1G]，max_binlog_cache_size是21474836480[20G]。那么为什么会文件大小会超过max_binlog_file_size的设置。这个问题比较好理解，如果是大事务呢？那么这里有一个小问题，binlog里面是以event为单位...

MySQL设定MAX_BINLOG_SIZE

KIN ORACLE

08-22

4427

1.修改/etc/my.cnf 添加max_binlog_size=512m 2.在线修改 SET @set_value = 1073741824; SET @@global.max_binlog_size = @set_value; SELECT @@global.max_binlog_size;

1197多行事务要求更大的max_binlog_cache_size处理与优化

weixin_30363509的博客

08-05

339

1197多语句事务要求更大的max_binlog_cache_size报错 binlog_cache_size:为每个session 分配的内存，在事务过程中用来存储二进制日志的缓存,提高记录bin-log的效率。没有什么大事务，dml也不是很频繁的情况下可以设置小一点，如果事务大而且多，dml操作也频繁，则可以适当的调大一点。 max_binlog_cache_size设置的参考标准 ...

Mysql8.0的bin log日志

阿干tkl的博客

07-12

2084

mysql bin log 日志

max_binlog_cache_size 导致数据数据更新失败的原因分析

Edward_developer的专栏

06-11

1589

max_binlog_cache_size 导致数据数据更新失败的原因分析

max_binlog_cache_size

05-30

需要注意的是，max_binlog_cache_size 的值必须大于等于 binlog_cache_size 的值，否则会导致错误。在实际应用中，如果二进制日志的写入速度很快，可以适当增大 max_binlog_cache_size 的值，以提高系统的性能。...

ragflow 修改版本5.7 提示报错 binlog_expire_logs_seconds

最新发布

06-07

引用[2]解释了为什么它可能失效：当binlog文件大小没有达到max_binlog_size，而由于备份或其他操作导致binlog刷新但未删除过期文件，从而导致积累。用户提到“报错”，意思是错误报告。所以，我需要找出binlog_...

mysql8 binlog优化_MySQL-8.0.19 优化日志及压测

weixin_42303721的博客

01-28

481

概要MySQL-8.0.19 发布的第一时间 dbm 就提供了支持，那 dbm 自动化安装的 MySQL 实例在性能上是一个怎样的表现呢？我的测试环境如下。IPCPUMemDisk系统版本MySQL版本角色192.168.100.1032(逻辑核心)128G4TSSDcentos-7.6MySQL-8.0.19Master192.168.100.2032(逻辑核心)128G4TSSDcentos-...

MySQL binlog常见姿势（基于MySQL 8）

MyException Blog

12-24

339

MyServer日志种类 1、error log。 2、general query log。记录了客户端的连接、查询日志。 3、binary log。记录了数据的变化，也会用于主从复制。简称bin log 4、relay log。从master节点接收到的数据变化日志。 5、slow query log。慢查询日志。记录了超过long_query_time时间的sql。 6、ddl log。数据库...

MYSQL8.0的BinLog日志配置明细

lovehjl2012的博客

03-25

3488

MYSQL8.0的BinLog日志配置明细

ERROR 1197 (HY000): Multi-statement transaction required more than ‘max_binlog_cache_size‘ bytes of

eagle89的专栏

10-13

5179

max_binlog_cache_size设置不当引发的血案 ERROR 1197 (HY000): Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again 日常运维中的坑真是防不胜防，不一小心就遇到别人给你挖的坑。其中把max_binlog_cache_size设置的只有2G，而MySQL早

Mysql数据库Multi-statement transaction required more than ‘max_binlog_cache_size‘ bytes of storage错误处理

dayulxl的博客

01-04

2598

1、故障描述使用mysql批量更新或批量删除的大事务时可能会出现以下错误 Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage; increase this mysqld variable and try again 这是由于更新和删除的innerDB的大事务会写入大量binlog，可能会造成binlog cache过小而导致执行失败。报错会导致主从库同步不成功或者批量更新删除

ERROR 1197 (HY000)问题原因及解决方法

漠效的博客

01-27

6756

前言下面介绍的是使用mysql时，1197的问题原因及解决方法。其常见于执行sql语句报错和主从同步报错。报错如下 ERROR 1197 (HY000) : Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld vari...

mysql 执行报错及解决方法 Multi-statement transaction required more than ‘max_binlog_cache_size‘

Fighting_V的博客

05-21

6944

mysql数据库执行update语句，报错。导入数据库的时候报了一个错： Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again 原因：mysql参数max_binlog_cache_size设置过小导致，默认1M max_binlog_cache_size 表示的是bi...

mysql执行update报more than max_binlog_cache_size

a595077052的专栏

02-02

641

多条语句组成的事务所需binglog缓存超过了最大配置，马上想到是sql更新所涉及的数据量较大，大概10000+，变更后的数据未及时落盘导致。2、如果有权限更改缓冲区大小，修改会话级或者全局max_binlog_cache_size大小，再执行sql。会话级：set session max_binlog_cache_size=XXXX;全局级：set global max_binlog_cache_size=XXXX;