如何对 ElasticSearch 集群进行压力测试

Elasticsearch压测工具-esrally 在搭建ES集群的时候,如果你想知道自己的ES集群的性能是怎么样的,到底能经受多大的请求压力。esrally可以满足你的愿望。 环境要求 Python 3.4+ including pip3 git 1.9+ jdk 并且已配置JAVA_HOME环境变量 安装 pip3 install esrally 运行前的简单配置 esrally configure --advanced-conf... 阅读详情

当 ElasticSearch 的业务量足够大,比如每天都会产生数百 GB 数据的时候,你就会自然而然的需要一个性能更强的 ElasticSearch 集群。特别是当你使用的场景是一些典型的大量数据进入的场景,比如网站日志、用户行为记录、大型电商网站的站内搜索时,一个强劲的 ElasticSearch 是必不可少的组件。在这样的场景下,如何找到一组合适的 ElasticSearch 集群?如何评估 ElasticSearch 集群的性能,就成为了一个十分重要的因素。

用什么 ElasticSearch 进行压力测试?

对于 ElasticSearch 性能测试和压力测试方面,其实有很多不同的方案,比如:

  • Rally:Rally 是 Elastic 官方针对于 ElasticSearch 的宏观测试工具。
  • ESPerf:一个基于 Golang 编写的 ElasticSerch 性能测试工具
  • Elasticsearch Stress Test:由著名的 ElasticSearch 服务提供商 Logzio 开发的性能测试工具

除了这些定制化的工具意外以外,ElasticSearch 也可以借由其 Restful API 来使用Load Runner、JMeter等老牌工具进行测试,这些工具零零散散,各有各的用法和用途,不过,对于广大开发者而言,还是官方出的 Rally 更令人满意。

在本篇文章中,将会使用 Rally 来完成 ElasticSearch 集群的压力测试

Rally 作为官方出品的工具,来自官方的信任加成让他成为各家进行压力测试的首选工具。其次, Rally 官方给出了多种默认的数据集(Tracks)。如果你的使用场景覆盖在这些数据集(比如HTTP 访问事件数据、地理名称数据、地理坐标点数据、HTTP 请求日志、问答场景、打车记录等场景)中,可以直接使用已有的数据集,来完成测试,而无需制造测试数据。

 

 

 

即使你的场景比较特殊,无法被官方的数据集所覆盖,也依然可以根据自己的线上数据,来创建数据集,确保测试效果的准确。

 

 

 

如何使用 Rally 进行测试?

在了解了 Rally 后,来具体看一看 Rally 的使用。

测试前的准备

关于 Rally 的基本安装,这里就不再介绍,总的来说十分简单,在配置好了 JDK 和 Python 环境以后,只需要执行pip install rally 就可以完成安装。如果你的环境复杂,希望以一个更简单的方式来运行,你也可以选择使用 Docker 来运行 Rally ,进行测试。关于更多的安装方式,你可以参考 Rally 的安装文档.

在安装完成了 Rally 后,就可以开始进行 ElasticSearch 的测试。

在测试前,你需要先了解一些基本概念

  • race:在 Rally 中,每一次测试都可以称之为 race
  • car: 在 Rally 中,每一个参与测试的集群,都可以称之为 car ,不同的集群就是不同的 car,如果你是在选配置,则可以通过切换 car 来设置不同配置的测试。
  • track: 在 Rally 中,每一次测试用的数据,都可以称之为 Track,不同的 Track 意味着不同的测试数据。
  • challange: 在 Rally 中,每一个 challange 意味着一个不同的测试场景,具体的场景则代表着 ElasticSearch 所执行的操作。

在了解测试的基本概念后,就可以开始进行压力测试。

进行压力测试

测试设备

由于本次测试实际上是一次选型的过程,在测试之前,我曾阅读了 Elastic 官方的权威指南中的硬件部分.在其文档中提供了对于运转 ElasticSearch 集群设备的推荐配置。

  1. 64 GB 内存的机器是非常理想的, 但是32 GB 和16 GB 机器也是很常见的。少于8 GB 会适得其反(你最终需要很多很多的小机器),大于64 GB 的机器也会有问题, 我们将在 堆内存:大小和交换 中讨论。
  2. 如果你要在更快的 CPUs 和更多的核心之间选择,选择更多的核心更好。多个内核提供的额外并发远胜过稍微快一点点的时钟频率。
  3. 如果你负担得起 SSD,它将远远超出任何旋转介质(注:机械硬盘,磁带等)。 基于 SSD 的节点,查询和索引性能都有提升。如果你负担得起,SSD 是一个好的选择。
  4. 通常,选择中配或者高配机器更好。避免使用低配机器, 因为你不会希望去管理拥有上千个节点的集群,而且在这些低配机器上运行 Elasticsearch 的开销也是显著的。

因此,我选择了原本打算购买的三家厂商(阿里云、腾讯云、UCloud)的设备进行测试,在具体的配置层面,则在各家购买四台 8C64G 100GBSSD磁盘的的云主机来进行测试。

 

使用ESRally压测ElasticSearch性能 Rally是Elasticsearch的基准测试框架,由官方提供维护。 阅读详情

相关推荐

Elasticsearch集群扩容操作指南

手把手带你完成Elasticsearch集群横向扩容,涵盖节点加入、分片重平衡与配置调优关键步骤;重点解决扩容后数据不均、查询延迟升高问题,确保elasticsearch集群稳定承载增长流量。

weixin_42298254的博客 908

【Ragflow】2. rag检索原理和效率解析

本文是ragflow内容解析系列的第二篇。本文将详细解析Ragflow是进行一轮信息检索的过程,并通过实验对比 Elasticsearch和 Infinity在检索效率上的差异。

兴趣使然的创作者 6604

突破ES集群分片上限:从max_shards_per_node配置到实战调优

本文深入解析Elasticsearch集群分片上限问题,从max_shards_per_node配置原理到实战调优方案。详细介绍了分片配额计算逻辑、持久化与临时化配置区别,以及参数调优的四步操作指南。同时提供超越参数调整的进阶方案,包括分片数量优化组合拳和监控预警机制,帮助运维人员有效管理ES集群分片资源。

weixin_30467861的博客 403

使用Kubemark对集群进行压力测试

使用Kubemark对集群进行压力测试

weixin_37844885的博客 2601

Elasticsearch 压测实践总结

搜索、ES运维场景离不开压力测试。 1.宿主机层面变更:参数调优 & 配置调整 & 硬件升级 2.集群层面变更:参数调优 3.索引层面变更:mapping调整 ES压测,官方推荐esrally工具(python编写)。虽然esrally功能丰富,但esrally的依赖比较多,很难快速搭建可用的压测环境。对于追求轻量工具的开发者而言,可以考虑使用infinilabs提供的loadgen工具。

qq_33999844的博客 1902

Elasticsearch压力测试实战:从工具选型到性能调优全解析

在分布式搜索和大数据领域,性能测试是保障系统稳定性的关键环节。其核心原理在于通过模拟真实负载,量化评估系统的吞吐量、延迟和资源利用率等指标,从而提前发现瓶颈。这项技术的价值在于,它能够帮助工程师在系统上线前识别潜在风险,优化资源配置,并为容量规划提供数据支撑。常见的应用场景包括新版本性能验证、硬件选型评估以及大促前的容量压测。本文聚焦于Elasticsearch这一广泛使用的搜索引擎,深入探讨如何利用Rally等工具进行有效的压力测试,并针对聚合查询、内存管理等常见性能问题提供调优方案。

weixin_28839549的博客 347

ES JVM参数调优全攻略:提升集群稳定性与效率

调整后,需密切关注堆内存的使用情况和垃圾回收频率,若仍存在内存不足或回收频繁的问题,可进一步微调。例如,使用-XX:+UseG1GC参数可启用G1垃圾回收器,它以区域化的方式管理堆内存,能有效控制垃圾回收的停顿时间,非常适合ES这种对响应时间要求较高的应用场景。通过科学合理的调优策略和持续不断的优化工作,能够显著提升ES集群的稳定性与效率,为业务的发展提供强大的技术支持。需要建立持续监控和优化的机制,定期评估集群性能,根据业务发展和性能变化,及时调整JVM参数,以保证ES集群始终处于最佳运行状态。

haicha028765的博客 650

分布式压力测试工具

是否有这样的场景:公司需要选型某类产品,需要你来做压力测试。运维部门分给你几台服务器,剩下的自己搞定。 请问:你是如何做压力测试的?如何获取性能参数、系统负载的?如果需要测试的产品是分布式的,需要N台client压M台Server,又怎么办?数据分析如何做? 你是否是每次手动

aliveTime的专栏 8453

阿里云ES AI引擎版:面向Agent场景的智能搜索引擎架构解析

向量检索和混合搜索是构建现代AI应用,特别是RAG(检索增强生成)和智能Agent系统的核心技术基础。其原理在于将文本、图像等非结构化数据通过嵌入模型转化为高维向量,通过计算向量间的相似度实现语义级匹配。传统搜索引擎如Elasticsearch虽能通过插件支持向量搜索,但在处理超大规模向量、高并发查询及混合搜索时,常面临性能瓶颈与架构挑战。阿里云ES AI引擎版正是针对这些痛点,进行了面向AI工作负载的深度重构。它通过原生统一的混合查询引擎、面向超大规模向量的专用索引与硬件加速优化,以及对多租户资源的强隔离

weixin_31100517的博客 240

【硬刚ES】ES基础(六十一)集群压力测试

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。 课程demo pip3 install esrally esrally configure # 只测试 1000条数据 esrally --distribution-version=7.1.0 --test-mode # 测试完整数据 esrally --distribution-versi..

微信搜:import_bigdata,大数据领域硬核原创作者 778

4、elasticsearch性能优化

Elasticsearch 的性能优化涉及多个层面,包括硬件配置、索引设计、查询优化、集群管理等。yamlpath.databashbash_sourcebashscroll APIbashbashsamplerbashbashyamlplaintextyamlyamlbashbash通过以上优化措施,可以显著提升 Elasticsearch 的性能和稳定性。实际优化时,建议从硬件、索引设计、查询模式三个方面入手,结合业务场景进行针对性调整。

xuebo1129927648的博客 142

C# Socket网络通信UDP(关键字:Socket)

简单Socket-Udp通信 在本文中涉及到通信,仅做简单的通信(服务端接受消息,由客户端发出消息) 如有需要,根据需求可直接copy使用 关键字Socket 需要引用命名空间: using System.Net; using System.Net.Sockets; 服务端: using System; using System.Net; using System.Net.Sockets; u...

MelanceXin的博客 3890

OpenVox 8FXO板卡驱动安装记录

OpenVox A800P和A1200P的板卡驱动安装及问题解决方法

clliu的专栏 2464

OpenAI Realtime API实时语音交互实战指南

实时语音交互是人机自然对话的核心能力,其本质在于构建低延迟、双向、流式协同的音频-语义闭环。它突破传统REST API的请求-响应范式,依托WebSocket实现毫秒级音频输入流(audio.delta)、模型生成流(text/audio.delta)与动态控制流(session.update)三重并行。该技术显著降低端到端延迟至300ms以内,支撑语音助手、智能客服、对话式教育等强实时场景。本文聚焦OpenAI Realtime API的工程落地,详解PCM音频流处理、VAD语音活动检测、AudioCon

weixin_32285357的博客 396

工业自动化中气动夹爪选型、调试与维护全流程实战解析

在工业自动化领域,气动执行元件是实现精准抓取与搬运的基础。其工作原理是通过压缩空气驱动气缸,转化为直线或旋转运动,从而控制夹爪的开合。这类技术因其结构简单、响应快速、成本低廉及维护方便,在自动化产线中具有极高的技术价值,是实现高效、可靠物料搬运的核心单元。其典型应用场景涵盖电子装配、汽车制造、食品包装等行业的上下料、分拣与定位工序。本文以工业自动化中常见的二指平行气动夹爪(常被工程师代号化为“Gripper-A”)为例,深入剖析其从硬件选型、气动系统集成到程序逻辑联锁的完整工程实践。内容聚焦于夹持力计算中惯

weixin_42629671的博客 369

AGX Orin 部署PyTorch与Torchvision 2026避坑指南

本文提供了2026年在AGX Orin开发板上部署PyTorch与Torchvision的详细避坑指南。针对ARM64架构和JetPack 6.2系统,重点解决了Python 3.10环境配置、官方wheel包安装、torchvision源码编译等关键步骤,并分享了常见问题解决方案和性能优化技巧,确保深度学习环境稳定运行。

sky77的博客 753

两轮差速小车循线控制原理分析

硬件资料设定:小车驱动来自于两个相同的电机,转向依靠两轮差速实现,小车前后左右安装超声波传感器,前后各一个,左右各两个; 功能目标:假设小车左侧有墙壁,通过超声波测距实现按指定距离沿墙行驶 参数设定:车轮半径r=3cm,车轮间距wd=10cm,车身长length=16cm,侧边超声波传感器前后各一个,假设一个在车头一个在车尾,间距=车身=length=16cm,小车线速度恒定v = 0.2m/s,距离墙d=10cm,假设超声波传感器以10Hz的频率采集距离。 在以上条件下,设定小车出发点,方向与墙平行

aibingjin的博客 1万+

具身智能中的运动控制如何入门?

本文提出计算机视觉(CV)与强化学习(RL)结合的机器人运动控制学习路径。强调工程实践导向,建议采用"算法-机器人-工程"三阶段学习法:基础阶段掌握RL核心算法(PPO/SAC)和机器人动力学;进阶阶段聚焦Sim2Real技术(域随机化、模仿学习)和仿真环境搭建;深耕阶段结合CV优势开发视觉闭环控制等创新方向。特别指出应避免纯理论学习,提倡"最小知识原则"的实践模式,通过具体项目(如四足机器人控制)串联知识体系。推荐以《现代机器人学》等工具书为参考,配合开源框架(Pi

CyberSoma的博客 324

Unity零基础到入门 ☀️| 【UI系统学习】轻松学会 Unity 的 UGUI基础控件的使用(包括一个简易血条、蓝条设计)

Unity,UGUI。本篇博客来挑几种Unity中最常用的UI控件如何使用和使用技巧,包括一个简易血条蓝条的小实例

努力前行,总会成为自己心中的那道光 2万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: Java8中你可能不知道的一些地方之接口默认方法实战
下一篇: 教你几招,快速创建 MySQL 五百万级数据,愉快的学习各种优化技巧
java架构师小芷
博客等级 码龄6年 216粉丝 519原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值