ZooKeeper性能测试

最新推荐文章于 2025-10-13 08:45:43 发布
原创 最新推荐文章于 2025-10-13 08:45:43 发布 · 置顶 · 2.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#zookeeper #zk_smoketest #性能测试 #集群

本文介绍了在CentOS 7.8环境下，使用ZooKeeper v3.6.3进行性能测试的过程。通过集群部署ZooKeeper并利用zk_smoketest工具，详细记录了测试环境的搭建步骤及测试命令参数，探讨了节点数量、大小和watch数量对Zookeeper读写性能的影响。

目录

1.背景

2.环境

3.环境搭建

1）ZooKeeper的安装

2）zk_smoketest的安装

4.测试

5.参考文档

1.背景

近期对ZooKeeper做了一个简单的性能测试

2.环境

操作系统：CentOS7.8

Zookeeper：v3.6.3（docker镜像部署、集群）

3.环境搭建

1）ZooKeeper的安装

1.如果是单独部署，可以直接在官网下载适合的版本：http://archive.apache.org/dist/zookeeper/

安装的过程比较简单，这里不再多废话了。

2.采用容器化方式部署的话，需要拉去Docker镜像。这里是在k8s的基础上，采用statefulset方式进行集群方式部署的。具体步骤较为复杂，需要有一定容器技术基础，因为不是这里的重点，所以，也没有过多叙述。

2）zk_smoketest的安装

1.在使用zk-smoketest之前，需要先安装一些依赖包。https://github.com/phunt/zk-smoketest

1）官网的python-dev是Ubuntu中的lib，在CentOS中为python-devel

2）安装zkpython。https://pypi.org/project

最低0.47元/天 解锁文章
ZooKeeper调优
跟着大数据和AI去旅行
11-06 1063
ZooKeeper生产调优实战
Zookeeper性能优化与调优技巧精讲
AI天才研究院
05-25 702
Zookeeper性能优化与调优技巧精讲 1.背景介绍 1.1 什么是Zookeeper? Apache ZooKeeper是一个开源的分布式协调服务,为分布式应用程序提供高可用性和强一致性的协调服务。它主要用于解决分布式环
Zookeeper读写性能测试
03-23
关于Zookeeper，之前有过几篇文章已经介绍过了，因此本文不赘述。本次小编对单机部署的Zookeeper的读、写进行了一次简单性能测试。性能测试脚本由java完成，具体请看代码清单： 　　关于Zookeeper，之前有过几篇文章已经介绍过了，因此本文不赘述。本次小编对单机部署的Zookeeper的读、写进行了一次简单性能测试。性能测试脚本由java完成，具体请看代码清单： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455
Apache ZooKeeper性能测试工具：zk-smoketest与自定义压测方案
最新发布
gitblog_00689的博客
10-13 365
在分布式系统开发中，Apache ZooKeeper（分布式协调服务）的稳定性和响应速度直接影响整个架构的可靠性。本文将介绍两种实用的性能测试方案：官方提供的轻量级测试工具zk-smoketest，以及基于C语言实现的自定义压测工具load_gen，帮助开发者快速评估ZooKeeper集群的承载能力。 ## 一、zk-smoketest：轻量级功能验证工具 ZooKeeper源码中内置了基础性...
zk-smoketest:zk-smoketest.py为ZooKeeper集成提供了一个简单的Smoketest客户端
05-26
ZooKeeper烟雾测试 作者： （在上关注我） 概括 为ZooKeeper集成提供了一个简单的Smoketest客户端。 对于验证新的，更新的，现有的安装很有用。 我最近添加了一个新的zk-latencies.py客户端，该客户端针对集群中的服务器测试各种操作的延迟。 当您设置新集群并希望确保该集群足以胜任任务时（特别是操作等待时间），此功能很有用。 尝试更改测试中使用的znode的数量和大小，并比较异步延迟和同步延迟（这将使您深入了解网络延迟）。 注意：python的“时间”库用于对操作进行计时，在某些系统上，计时器的分辨率可能低至1秒，具体取决于该平台的python解释器实现。 什么是Apache ZooKeeper？ 在：“ ZooKeeper是针对分布式应用程序的高性能协调服务。” 它在一个简单的界面中公开了通用服务，例如命名，配置管理，同步和组服务，因此您不必从头开
ZooKeeper的一个性能测试
weixin_33713707的博客
07-15 526
3台ZooKeeper服务器。8核64位jdk1.6；log和snapshot放在不同磁盘场景一同一个目录下，先createEPHEMERALnode，再delete；create和delete各计一次更新。没有订阅。一个进程开多个连接，每个连接绑定一个线程，在多个path下做上述操作；不同的连接操作的path不同测试结果数据汇总如下：dataSize(字节)totalReq...
Zookeeper的性能测试与评估实战
AI天才研究院
01-21 1855
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一组原子性的基本服务，如集群管理、配置管理、同步、组管理等。Zookeeper的性能对于分布式应用程序的稳定性和可靠性至关重要。因此，在实际应用中，我们需要对Zookeeper的性能进行测试和评估。 本文将从以下几个方面进行深入探讨： 核心概念与联系 核心算法原理和具...
zookeeper节点数与watch的性能测试
热门推荐
loop in codes
09-21 2万+
zookeeper中节点数量理论上仅受限于内存，但一个节点下的子节点数量受限于request/response 1M数据 (size of data / number of znodes) zookeeper的watch机制用于数据变更时zookeeper的主动通知。watch可以被附加到每一个节点上，那么如果一个应用有10W个节点，那zookeeper中就可能有10W个watch（甚至更多
HBase性能调优
豹先生
08-25 1794
配置优化zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后
zookeeper-benchmarkv2
07-11
ZooKeeper 基准 作者：、、 如有任何问题或意见，请联系 。 非常欢迎补丁和附加功能！ 介绍 该项目提供了一个工具来衡量的性能。 它旨在测量 ZooKeeper 集合在预定时间长度内的每个请求延迟（例如，持续处理 30 秒的创建请求）。 该工具可用于构建如图 8 论文，不同于，它提交固定数量的操作并记录完成所有操作的时间其中。 该基准测试在处理 znode 读取、对单个 znode 的重复写入、znode 创建、对多个 znode 的重复写入和 znode 删除方面练习集成的性能。 这些测试可以通过同步或异步操作来执行。 基准测试使用每个服务器一个线程连接到 ZooKeeper 集合中的每个服务器。 在同步操作中，每个客户端在收到前一个请求的结果后，会发出一个新的请求。 在异步操作中，每个客户端线程都有一个全局可配置的目标，用于未完成的异步请求的数量。 如果未完成请求的数量低于
性能测试Jmeter压测ZooKeeper-自定义java请求
weixin_30614587的博客
01-09 1744
　 要想通过自定义java请求来压测ZooKeeper，那么我们就需要做两件事情，第一我们需要知道java如何操作ZooKeeper，第二就是怎么能将我们写的jar包让jmeter识别，首先我们先来干第一件事。 一、java操作ZooKeeper 以下的代码是网上百度找到的，经过了一点点修改（对于测试其它的可以找其它的测试代码） package com.comtop.ZookApi; ...
zookeeper 性能测试
rocky_24的博客
03-30 537
zookeeper压力测试：性能对比(3个节点，5个节点，7个节点 创建节点、删除节点、设置节点数据、读取节点数据性能及并发性能) 测试结果如下： 五次测试三节点结果： 创建100W节点用时：15.0秒。 66'666/s 删除100W节点用时：13.8秒。 72'500/s 设置100W节点用时：90.0秒。 11'111/s 读取100W节点用时：50.5秒。 20'000/...
5-zookeeper-测试实操
qq_37171694的博客
12-15 547
zookeeper-5
java 测试zookeeper_性能测试Jmeter压测ZooKeeper-自定义java请求
weixin_39743414的博客
02-16 554
packagecom.comtop.ZkApiJM;importjava.io.IOException;importjava.io.InputStream;importjava.io.Serializable;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLConnection;importorg....
Zookeeper与ZooKeeper的性能测试
AI天才研究院
01-24 444
1.背景介绍 1. 背景介绍 Apache Zookeeper 是一个开源的分布式应用程序，它提供了一种分布式协调服务。Zookeeper 的主要功能是提供一种可靠的、高性能的、分布式的协调服务。它可以用来实现分布式应用程序中的一些关键功能，如集群管理、配置管理、负载均衡、数据同步等。 性能测试是评估 Zookeeper 系统性能的重要途径。性能测试可以帮助我们了解 Zookeeper 在不...
zookeeper分布式锁的实现和简单Demo的性能测试
java1993666的博客
08-22 1030
最近学习了zookeeper分布式锁的相关知识，学完做个总结记录一下： 在linux3台机器装好zookeeper的集群就可以用zookeeper自带的API进行测试使用了： 首先在项目的pom里面导入zookeeper的jar包如下所示： org.apache.zookeeper zookeeper 3.4.9 创建一个分布式锁的工具类如下所示，只包含部分常
zookeeper 功能和性能测试
08-12
ZooKeeper 是一个高效的分布式协调服务，广泛用于分布式系统中实现一致性、配置管理、命名服务、分布式锁等功能。为了确保其在实际应用中稳定可靠地运行，功能测试和性能基准测试是必不可少的环节。 ### 功能测试方法 ZooKeeper 的功能测试主要围绕其核心功能进行验证，包括但不限于： - **节点（ZNode）操作测试**：验证创建、读取、更新和删除节点的功能是否正常，包括持久节点、临时节点、顺序节点等不同类型的操作是否符合预期[^1]。 - **监听器（Watcher）机制测试**：测试客户端是否能正确地在节点数据或状态发生变化时收到通知。这包括节点创建、删除、数据变更等事件的监听是否有效[^1]。 - **会话管理测试**：验证客户端与服务端之间的连接保持、会话超时、重新连接等机制是否按设计工作。特别是临时节点在会话失效后是否被正确删除[^1]。 - **ACL（访问控制列表）测试**：检查不同权限设置下的节点访问控制是否生效，包括读、写、创建、删除、管理等权限的组合测试。 ### 性能基准测试方法 ZooKeeper 的性能基准测试主要关注吞吐量、延迟、并发处理能力等方面，测试方法包括： - **单一操作吞吐量测试**：通过大量并发客户端执行单一类型的操作（如创建节点、读取节点等），测量系统的最大吞吐量。这有助于评估系统在高负载下的表现。 - **混合操作负载测试**：模拟真实应用场景中的操作混合，例如同时进行创建、读取、更新和删除操作，测试系统在复杂负载下的性能表现。 - **集群规模扩展测试**：通过逐步增加ZooKeeper服务器节点数量，观察系统性能的变化趋势，评估其横向扩展能力[^1]。 - **网络延迟与故障注入测试**：在模拟网络延迟、分区、节点宕机等异常条件下测试ZooKeeper的行为，确保其在异常情况下的可用性和一致性。 为了提高测试效率和准确性，通常会使用自动化测试工具和框架，如 `zk-smoketest`、`ZooKeeper Benchmark` 等，这些工具支持多种测试场景的配置和执行，并能生成详细的测试报告。 ### 示例代码：使用ZooKeeper Benchmark工具进行性能测试 以下是一个简单的命令行示例，展示如何使用 ZooKeeper Benchmark 工具进行性能测试： ```bash # 安装ZooKeeper Benchmark工具 git clone https://github.com/apache/zookeeper.git cd zookeeper mvn clean install -DskipTests # 运行性能测试 cd zookeeper-contrib/zookeeper-contrib-zkbench mvn exec:java -Dexec.mainClass="org.apache.zookeeper.benchmark.ZooKeeperBenchmark" -Dexec.args="localhost:2181 10000 1000" ``` 上述命令将连接到本地运行的 ZooKeeper 服务（端口2181），并执行10,000次操作，每次操作间隔为1000毫秒，用于评估基本的性能指标。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值