解决zookeeper磁盘IO高的问题

最新推荐文章于 2025-08-30 07:00:00 发布
原创 最新推荐文章于 2025-08-30 07:00:00 发布 · 1.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #运维

本文探讨了为何Zookeeper的磁盘IO会升高，特别是在storm早期版本中，心跳风暴导致频繁写磁盘。提出将事务日志存储到内存以降低磁盘依赖，但可能面临数据丢失风险。优化方案包括设置dataLogDir=/dev/shm，关闭自动事务日志管理，以及定期清理事务日志，最终实现磁盘IO显著下降。

 

为什么zookeeper会导致磁盘IO高

由于早期的storm版本心跳信息严重依赖zookeeper，心跳风暴会导致zookeeper的事务日志频繁的写磁盘，带来的问题首当其冲的是磁盘IO会爆掉。

 

 

优化思路

将zookeeper事务的日志放入内存中，降低对磁盘的依赖，受内存空间容量限制，需要控制事务日志大小。

这个方案的风险就是一旦机房断电会导致zookeeper中的部分数据丢失，所以特别重要的数据不建议这样做，SSD会是个不错的选择。

 

方案步骤

  • 事务日志指向内存文件系统dataLogDir=/dev/shm
  • 关闭自动事务日志的管理#
最低0.47元/天 解锁文章
Zookeeper同步机制!!!
yangcai11的博客
05-25 4410
优点：解决方案、处理问题能力、架构优化/拓展能力 零、Zookeeper事务 事务id(主从同步Id-每次ack递增+1,64位存储（32位纪元号-leader号，32位自增号）) 每一个操作都将使节点接收到一个Zxid格式的时间戳 ZooKeeper的每个节点维护者两个Zxid值，为别为：cZxid、mZxid。 （1）cZxid：是节点的创建时间所对应的Zxid格式时间戳。 （2）mZxid：是节点的修改时间所对应的Zxid格式时间戳。 一个客户端发起的写请求打到follower时的整个流程。 1
优化篇: zookeeper
陌上人如玉，公子世无双
04-21 2816
zookeeper作用: 主从，选举，配置中心，数据监听…简单来说就是一个存储数据的地方，每个数据变更，能通知到对应的监听者。 zookeeper部署上 内存 一般4g 就够（视zk的DataTree来）。磁盘由于 Zookeeper 的数据写入磁盘(由于事务性)，建议使用 SSD。 操作系统上(一般关闭交换区) Zookeeper 的性能会很明显受到交换分区的影响。建议部署 Zookeeper 的服务器关闭交换分区功能或是通过内核参数调整，减少对于交换分区的使用。 不建议 Zookeeper 和.
记一次Zookeeper的IO Hang问题
cmd_123456的专栏
04-28 4920
过程记录       最近在进行zookeeper的Failover测试，测试过程中，发现当频繁的对leader角色进行断网操作时，zookeeper会长时间停止服务，直到leader节点网络恢复。 zookeeper是一种典型的Paxos协议衍生品，满足CAP理论的A和P两个特性， 是可以Handle这种比较常见的出现网络分区场景的。当Leader节点出现网络故障时，整个quorum的状态变化应...
zookeeper频繁异常问题分析
热门推荐
09-02 10万+
1.1            操作系统信息 1.1.1          CPU信息 从上述可以看出在问题点CPU使用率并不高，故排除CPU问题。 1.1.2          内存信息   CM监控界面并无内存信息，无法提供图片。 但问题期间，监控机器内存，发现还有剩余，故排除内存问题。 1.2            ZKFAILOVER日志信息   2017-09-0
为什么zookeeper会导致磁盘IO高【转】
dianzhouyu2189的博客
09-14 478
由于早期的storm版本心跳信息严重依赖zookeeper，心跳风暴会导致zookeeper的事务日志频繁的写磁盘，带来的问题首当其冲的是磁盘IO会爆掉。 优化思路 将zookeeper事务的日志放入内存中，降低对磁盘的依赖，受内存空间容量限制，需要控制事务日志大小。 这个方案的风险就是一旦机房断电会导致zookeeper中的部分数据丢失，所以特别重要的数据...
步步惊心，Zookeeper集群运维“避坑”指南
ctna2171的博客
11-12 645
基于京东云丰富的实战经验，我们将陆续分享运维方面的干货，帮助小伙伴们进阶为运维达人，欢迎持续关注。首先带来的是“监控”专题系列。监控，可以判断服务的健康程度、定位服务问题、透视系统内部状态，是运维工作中极其重要的一环。该系列内容...
高并发的IO底层原理（读 netty_zookeeper高并发实战）
qq_40677192的博客
03-16 262
高并发的IO底层原理（读 netty_zookeeper高并发实战） 一、read，write系统的调用 无论是进行read调用还是write调用，数据会在进程缓冲区和内核缓冲区之间进行转换，并不是直接从物理设备把数据读取到内存中，或者进数据从内存直接写入屋里设备。 read，write系统调用并不负责数据在内核缓冲区和物理设备（如磁盘）之间进行交换，这项底层的操作交由Linux的系统内核（kernel）来完成的 二、内核缓冲区和进程缓冲区 由于外部设备的直接读写涉及操作系统的中断，发生操作系统中断时
zookeeper问题整理
qq_36250202的博客
06-25 466
1.如何解决zookeeper磁盘IO高的问题 ==可以把事务日志输出到内存空间，配置dataLogDir：/dev/shm/ 内存空间目录 ==ZK提供了自动清理事务日志和快照文件的功能关闭autopurge.purgeInterval =0 ==可以配置snapCount：默认是100000，调大一点就可以减少触发快照snapshot， ==就会少生成一定的snapshot.*文件，事务...
Zookeeper压力测试.docx
11-13
本文将深入探讨Zookeeper在压力测试中的表现，包括磁盘IO瓶颈、CPU利用率、事务日志与快照策略以及连接管理等问题。 首先，我们关注Zookeeper在高并发环境下的性能表现。在800个连接并发创建80万个数据点时，每个...
《消息队列高手课》缓存策略：如何使用缓存来减少磁盘IO？_请给出减少访问磁盘次数的方法或策略
2401_83620690的博客
05-06 1032
最全的Linux教程，Linux从入门到精通第一份《Linux从入门到精通》466页内容简介====本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。
Zookeeper压力测试.pdf
10-26
在进行压力测试时，我们模拟了800个连接并发创建80万个数据点的情景，观察到每个Zookeeper虚机节点的磁盘IO达到极限，限制了系统的吞吐量（Transactions Per Second，简称TPS）。在测试中，TPS稳定在约9000，远低于...
Zookeeper（82）Zookeeper的性能瓶颈通常在哪里？
qq_43012298的博客
03-02 800
Zookeeper 的性能瓶颈通常集中在磁盘I/O、网络延迟、内存使用、垃圾回收和客户端连接管理等方面。通过优化硬件资源、调整配置参数、使用连接池和监控工具，可以有效提高 Zookeeper 的性能和稳定性。定期进行性能分析和调优，是确保 Zookeeper 高效运行的重要步骤。
ActiveMQ+ZooKeeper高可用集群
猎人在吃肉
01-15 1227
一 、ActiveMQ主要的几类部署方式比较 1、默认的单机部署（kahadb） 2、基于ZooKeeper的主从（levelDB Master/Slave） 3、基于共享数据库的主从（Shared JDBC Master/Slave） 二、 服务器说明 三、 数据准备 四、 activemq 配置 上传到指定位置 解压 修改brokerName的值 注释掉默认的persistenceA...
storm使用zookeeper造成事务日志过大的解决方案
Simon的博客
12-14 2427
storm配置参数： https://blog.youkuaiyun.com/Simon_09010817/article/details/81236544 其中: supervisor.heartbeat.frequency.secs    supervisor心跳发送频率(多久发送一次)  默认为5sworker.heartbeat.frequency.secs          worker的心跳...
ZooKeeper中的事务日志是如何工作的？
qq_33240556的博客
10-25 768
ZooKeeper 中的事务日志机制确保了数据的一致性和持久性。通过记录所有事务操作，并在系统重启或故障恢复时重放事务日志，ZooKeeper 能够保证数据的完整性。此外，事务日志与快照的配合使用，使得 ZooKeeper 能够在不影响性能的前提下，有效地管理数据的持久化。
ZooKeeper性能优化实战：磁盘I/O分离方案与SSD配置指南
最新发布
zuiyuelong的博客
08-30 580
在ZooKeeper的架构中，事务日志（dataLog）和快照（snapshot）是两个核心的数据持久化组件，它们各自承担不同的职责，对存储性能和I/O模式有着截然不同的要求。具体来说，当事务日志和快照共享同一磁盘时，频繁的顺序写入（日志）与间歇性的大块写入（快照）会相互干扰，增加磁盘寻道时间，导致I/O等待队列变长。在默认配置中，ZooKeeper将事务日志和快照存储在同一个目录（dataDir），这容易导致I/O资源竞争，尤其是在快照生成期间，大量磁盘读写可能阻塞事务日志的实时写入。
Zookeeper
weixin_42176038的博客
03-20 289
将数据存放在多块磁盘肯定能解决IO瓶颈的问题磁盘阵列是由很多块独立的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中Consistency，Availability和Partition Tolerance。
Zookeeper的性能优化实践
AI天才研究院
01-21 1326
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，它提供了一种可靠的、高性能的协同机制，用于构建分布式应用程序。Zookeeper的核心功能包括：集群管理、数据同步、配置管理、领导选举等。在分布式系统中，Zookeeper被广泛应用于实现一致性哈希、分布式锁、分布式队列等。 随着分布式系统的不断发展和扩展，Zookeeper的性能成为了关键的考量因素。...
Zookeeper（51）如何优化Zookeeper的性能？
qq_43012298的博客
02-15 955
硬件配置优化：确保有足够的内存、CPU 和高速磁盘。Zookeeper 配置优化：调整zoo.cfg和 JVM 参数。网络优化：确保网络带宽和低延迟。应用程序使用优化：合理使用 Zookeeper API，减少写操作和会话管理。监控和调优：使用监控工具和日志分析，持续优化 Zookeeper 性能。通过以上方法，可以显著优化 Zookeeper 的性能，确保其高效稳定地运行。根据实际情况和需求，选择适合你的优化策略并进行实施。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值