影响innodb还原速度的因素之一:pool

最新推荐文章于 2024-04-04 12:55:28 发布
最新推荐文章于 2024-04-04 12:55:28 发布
阅读量544 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： mysql 文章标签： buffer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zjqweter518/article/details/6770308
本文分享了一次因InnoDB缓存池大小设置不当导致MySQL数据库还原速度异常缓慢的经历，并通过调整innodb_buffer_pool_size参数至2000M成功解决了该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 因硬件资源紧张的原因，在一台机了部署了多实例用作多台master的从库，内存小，所以非关键实例的innodb_buffer_pool_size采取了默认值设置8M，

结果还原时发现速度超级慢（mysqldump出的文件）。

后来innodb_buffer_pool_size=2000M，还原速度恢复了正常。

InnoDB 级别的缓存Buffer Pool详解
weixin_47184173的博客
06-01 916
MySQL级别的缓存 说起缓存，我们回忆起MySQL的Server层有一个缓存，这个缓存在MySQL8.0之后被直接禁用了。 随着技术的进步，经过时间的考验，MySQL 的工程团队发现启用缓存的好处并不多。 首先，查询缓存的效果取决于缓存的命中率，只有命中缓存的查询效果才能有改善，因此无法预测其性能。而且为了维护缓存结果的正确性，我们还需要频繁的去更新缓存。 其次，查询缓存的另一个大问题是它受到单个互斥锁的保护。在具有多个内核的服务器上，大量查询会导致大量的互斥锁争用。 （所以用了InnoDB级
InnoDB存储引擎之InnoDB关键特性
chenlvzhou的专栏
12-08 1552
1.插入缓冲     A.Insert Buffer         听名字会让人理解为插入缓冲是缓冲池中的一部分。其实不是这个样子的，InnoDB缓冲池中有Insert Buffer信息，但是Insert Buffer和数据页一样，也是物理页的一个组成部分。在InnoDB存储引擎中，行记录的插入顺序是按照主键递增的顺序进行插入的。因此插入聚集索引(Primary Key)一般是顺序的，不需要
Innodb之全局共享内存
weixin_33905756的博客
12-12 257
参考链接： https://blog.youkuaiyun.com/miyatang/article/details/54881547 https://blog.youkuaiyun.com/wyzxg/article/details/7700394?utm_source=copy https://blog.youkuaiyun.com/qq_27529917/article/details/78454947 ...
mysql中innodb-内存结构-缓存池
zhuifengshaonian201的博客
06-29 741
mysql中innodb-内存结构一、缓存池1、缓存池简介2、缓存池算法（LRU）1、中点插入策略2、优化1、使缓存池扫描具有抵抗性2、配置 InnoDB 缓冲池预取（Read-Ahead）3、缓存池配置1、性能优化2、相关说明配置 InnoDB 缓冲池大小配置多个缓冲池实例配置缓冲池刷新保存和恢复缓冲池状态4、使用 InnoDB 标准监视器监视缓冲池 一、缓存池 首先这里要简要说明，该文章翻译自mysql手册，并经过我的整合，所以文字内容较多，但是实际含金量比较高，建议大家仔细阅读，必有收获。 1、缓存池
InnoDB的四大特性
weixin_47184173的博客
06-01 1887
InnoDB存储引擎的三个关键特性：插入缓冲（insertbuffer）、二次写（doublewrite）、自适应哈希索引（adaptivehashindex）。 insert/change buffer 什么是change buffer？ 在MySQL5.5之前，叫插入缓冲(insert buffer)，只针对insert做了优化；现在对delete和update也有效，叫做写缓冲(change buffer)。 它是一种应用在非唯一普通索引页(non-unique secondary i...
【数据库】MySQL InnoDB存储引擎详解 - 读书笔记
FixPng的博客
04-04 2149
特性支持B-tree 索引是备份/点恢复（在服务器中实现，而不是在存储引擎中）是集群数据库支持否聚集索引是压缩数据是数据缓存是加密数据是（在服务器中通过加密函数实现；在 MySQL 5.7 及更高版本中，支持数据静止加密。外键支持是全文搜索索引是（从 MySQL 5.6 开始支持全文索引。地理空间数据类型支持是地理空间索引支持是（从 MySQL 5.7 开始支持地理空间索引。哈希索引否（InnoDB 内部使用哈希索引来实现其自适应哈希索引功能。索引缓存是。
Mysql架构＜五＞ innoDB内存引擎架构 之磁盘文件层面的存储结构
四库全书的酷
04-16 969
文章目录储存结构-表的结构段区【Extent】页【Page】行【Row】内存数据落盘数据库灵魂三问：脏页落盘==什么是脏页==？==为什么不是每次更新直接写入磁盘呢==？==怎么确保日志就能安全的写入系统呢==？==这样做不就等同于数据直接写入磁盘吗==？redo日志落盘CheckPoint检查点机制什么是CheckPoint？Checkpoint分类Double Write双写脏页落盘出现的问题该怎么解决这个问题？Double write崩溃恢复小结 储存结构-表的结构 段 表空间由各个段（Segmen
InnoDB 存储引擎介绍
个人站点：javatv.net
12-09 2131
1. MySQL 基础架构 前面写过几篇 MySQL 的文章，大多是对一些基础概念的讲解，当我想去了解存储引擎的时候发现不知从何下手，或者说不知道如何开头，回头想想好像对 MySQL 的基础架构还不是特别熟悉，所以本文尽管是介绍 InnoDB 存储引擎，但也会大致讲解一下 MySQL 的基础架构。 先看这样一张图（网上找的）： 可以看出 MySQL 最上层是连接组件。下面服务器是由连接池、管理工具和服务、SQL 接口、解析器、优化器、缓存、存储引擎、文件系统组成。 看的懂吗？看不懂。没事，咱翻译一下：
3、InnoDB存储引擎
qq_29751539的博客
04-29 1391
一、InnoDB体系架构 InnoDB存储引擎有多个内存块，这些内存块组成了一个大的内存池。后台线程主要负责刷新内存池中的数据、将已修改的数据刷新到磁盘。 1.1 后台线程 InnoDB后台有多个不同的线程，用来负责不同的任务。主要有如下： Master Thread 这是最核心的一个线程,主要负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性,包括赃页的刷新、合并插入缓冲、UNDO 页的回收等. IO Thread 在 InnoDB 存储引擎中大量使用了异步.
【制定InnoDB数据恢复最佳实践】：有效备份与恢复计划的制定方法
本文详细探讨了InnoDB的备份与恢复策略，包括备份的理论基础、备份工具和技术、备份计划的制定与执行，以及数据恢复过程中的技术要点和最佳实践。通过分析实际案例，文章指出了备份与恢复中可能遇到的问题，并提供了...
MySQL数据库还原疑难杂症大揭秘：一招解决恢复难题
[MySQL数据库还原疑难杂症大揭秘：一招解决恢复难题](https://img-blog.csdnimg.cn/540a6904ffb8496a8e5cb0728c8d9a94.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1...
InnoDB数据恢复案例分析：简单到复杂，逐步掌握恢复流程
![InnoDB数据恢复案例分析：简单到复杂，逐步掌握恢复流程](https://img-blog.csdnimg.cn/2021090822281670.png?x-oss-process=image/watermark,...文章首先介绍InnoDB的核心特性及其与MySQL的关系，然后阐述数据丢失
InnoDB故障恢复高级教程：多表空间恢复与大型数据库案例研究
InnoDB存储引擎在数据库管理中扮演着重要角色，其故障恢复技术对于保证数据完整性与业务连续性至关重要。本文首先概述了InnoDB存储引擎的基本架构及其故障恢复机制，接着深入分析了故障类型与诊断方法，并探讨了单表...
MySQL数据库还原的性能基准：评估恢复速度和效率（权威测评）
[MySQL数据库还原的性能基准：评估恢复速度和效率（权威测评）](https://img-blog.csdnimg.cn/direct/4affa524c8fe4b3b855cdced6fc850b1.png) # 1. MySQL数据库还原概述 MySQL数据库还原是将损坏或丢失的数据库恢复...
Mysql-mmm安装配置文档
热门推荐
zjqweter的专栏
11-30 19万+
Mysql-mmm安装配置文档 一、IP分配（两主两从） Db5(monitor): 19.2.168.141/16 Db1(master-writer):19.2.168.142/16    19.2.34.2/16 Db2(master-backup):19.2.168.143/16   19.2.34.3/16 Db3(master-writer):19.2.168.144/16
mysql int unsigned负数问题
zjqweter的专栏
06-06 5015
两字段相差，得数是负数，结果却是一个很大的整数，原来为int为unsigned, 去掉后正常
Plugin 'InnoDB' registration as a STORAGE ENGINE failed
zjqweter的专栏
11-30 2656
安装一台测试机，一直使用的安装脚本居然出错：Plugin 'InnoDB' registration as a STORAGE ENGINE failed 原因：因为是虚拟机配置的空间小，默认my.cnf指定的数据文件和redo文件都太大导致空间满，从而导致初始化不成功
mysqlsla分析binlog
zjqweter的专栏
08-24 1525
mysqlsla分析binlog跟slow,general不同，需要mysqlbinlog:  /data/mysql/bin/mysqlbinlog mysql-bin.000013 | mysqlsla -lt binary - sort c_sum -top 200 >bin13.txt
导出任何一个月的数据
zjqweter的专栏
03-26 1204
#!/bin/sh d=`date +%y%m01` l=`date -d "$1 months ago $d last day" +%Y-%m-%d` f=`date -d "$l" +%Y-%m-01` y=`date -d "$l" +%Y` `/data/mysql/bin/mysql -uuser -ppassword -e "select *  into outfile '/
mysql导入100g的sql文件
最新发布
02-08
要将一个大小为100GB的SQL文件导入到MySQL数据库中，需要考虑几个关键因素如服务器资源、网络带宽及优化策略等。以下是详细的步骤： ### 一、准备阶段 #### 确保有足够的磁盘空间 首先确认你的MySQL服务器上有足够的可用存储空间来保存这个大尺寸的数据集。 #### 检查并调整MySQL配置参数 编辑 MySQL 配置文件 (通常是 `my.cnf` 或者 `my.ini`) 来增加一些限制性的设置值以便更好地处理大型数据量的操作： ```bash # 设置最大允许包大小 max_allowed_packet = 512M # 调整InnoDB缓冲池大小(视内存情况而定) innodb_buffer_pool_size = XG # 根据实际情况替换X # 其它必要的性能改进选项... ``` 修改完配置之后记得重启MySQL服务使其生效。 ### 二、选择合适的工具与命令行操作 对于如此庞大的SQL脚本直接通过常规的方式很可能效率低下甚至失败。这里推荐几种更高效的办法来进行大规模数据迁移： **1. 使用 `mysqlslap` 工具** 虽然这不是官方推荐的最佳方案之一，但对于某些场景来说可能足够用了。 不过由于其主要用于基准测试而非实际生产环境下的大批量插入任务因此并不作为首选项。 **2. 分割 SQL 文件再逐段加载** 考虑到整个文件过大导致的一次性读取困难以及潜在的风险点（例如中途断电），可以先利用类似unix/linux系统的文本分割指令预先对原始`.sql`文档按合理分界切分成若干个小部分后再逐一运行它们各自对应的部分内容至目标库内。 **3. 利用专用传输软件 - Maatkit's mk-parallel-dump 和 mk-parallel-restore** Maatkit是一套非常实用高效的管理维护开源集合，在此特指其中两个专门用于快速备份恢复工作的组件：mk-parallel-dump负责导出；mk-parallel-restore则用来做相应的还原工作，并且支持并发执行提高速度减少耗时。 **4. 直接采用mysqldump + gzip压缩组合拳路数** 如果你获取的是未经任何特殊处理过的纯文本格式sql脚本，则可以直接尝试下面这条命令完成任务（当然前提条件是你已经把待解析的内容事先经过了适当的归档压缩）： ```shell gunzip < huge_file.sql.gz | mysql -u [username] -p[password] dbname ``` > **注意:** `[username]`, `[password]`, 和 `dbname` 替换为你自己的用户名、密码和想要导入的目标数据库名。（去掉方括号） 此外还需要留意是否有关联索引建立的问题，因为大量的INSERT语句可能会使得创建索引变得极其缓慢。可以在开始前暂时禁用外键约束检查并且延迟重建非聚集索引直到全部记录都被成功加入进来以后再去开启。 最后别忘了定期监控进度状况以免遇到意外错误停止等问题影响整体计划安排！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值