压测ES-cpu高解决方案

最新推荐文章于 2025-01-08 18:15:52 发布
最新推荐文章于 2025-01-08 18:15:52 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 软件性能测试 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hello_world_zhao/article/details/121508955
本文讲述了如何通过排查并优化数据库查询语句，解决RPC接口压测中CPU占用过高和带宽过大的问题，从最初返回900条数据降至27条，显著降低了CPU使用率和带宽需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

压测rpc接口，100并发压测es-cpu 100%-4c，带宽80M。

带宽高是因为返回数据多，cpu高是因为有大量复杂计算。

经过研发排查，查数据时候加了一个or条件，导致本来查27条返回了900条，

导致带宽高。

经过优化查询语句，cpu也降下来了。

【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.3.1单节点安装（Docker与手动部署）
kngines
02-28 1264
【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.3.1单节点安装（Docker与手动部署）
【实战ES】实战 Elasticsearch：快速上手与深度实践-4.3.2 跨集群同步（CCR）实战指南
kngines
03-10 1050
【实战ES】实战 Elasticsearch：快速上手与深度实践-4.3.2 跨集群同步（CCR）实战指南
Elasticsearch-高CPU优化
NCS123456的博客
06-21 2032
Elasticsearch使用线程池管理CPU资源，用于并发操作。如果某个节点的CPU使用率很高，可以使用该节点的热线程API（hot_threads）来检查节点上运行的资源密集型线程。如图所示，查询请求量的波动与集群最大CPU使用率是基本吻合的。确保对于节点上已配置的每个 GB的内存，将分片数量保持在 20 以下，如果某个节点拥有 30GB 的堆内存，那其最多可有 600 个分片。查看查询/写请求量，分析是否cpu高和查询量升高或者写入量升高导致的。是操作系统层面的cpu消耗，不是我们重点优化对象。
es 单个节点cpu过高
qq_35640866的博客
01-08 566
是因为节点没有做fullgc，导致jvm中引用增多没有释放，会导致cpu使用率升高。后台手动执行fullgc后，节点cpu恢复正常。建议对集群其他节点也做下fullgc。观察这个节点的jvm使用率比较高，怀疑是jvm内存没释放导致内存寻址效率低，引起cpu过高。es 单个节点cpu一直持续很高，其它节点cpu不高。解决方法：手动执行fullgc，使用jmap分析线程jvm。
ES7.5升级7.17后在写多读少场景下CPU、IO飙升
qq_33999844的博客
09-29 2337
ES PAAS管理的集群升级了100+，从7.5升级到7.17 （保证每个大版本最终仅维护一个小版本集群），由于业务使用差异大，也出了不少问题，前面的文章也有提到过Integer类型字段使用terms查询效率低的情况...
es服务器的cpu压力过大的调试
寒夜
03-23 3212
问题简述   最近观察到es集群的压力比较大。cpu使用经常报警，cpu使用超过90%时间持续3分钟会报警。 于是想要针对性的排查一下问题。 确认一下目前的cpu压力是否是一种因为请求量过大导致的正常压力。 评价现有的cpu压力是一个什么样的状态，是否需要进行扩容来减轻压力。 过程 1. 机器的配置梳理 机器的配置为16+64G+6Tssd的服务器 1.查看cpu的基本信息 lscpu Architecture: x86_64 CPU op-mode(s): 32-bit
再谈elasticsearch 高cpu问题
布道
09-28 1万+
首先要阐述一个观点，任何技术都是为解决某一个领域的问题而存在的，我们在使用它的时候，尽可能使用它的优势（亮点），去发挥它应具备的业务价值。es在很多公司应用非常广泛，它已经成为玩大数据的必备的技能，在之前的章节我吐槽过es写方面的问题，今天将吐槽下es查询-terms语法的那些坑，这里探讨两点：一个是多terms并发带来高CPU，另一个是terms使用不当会导致bug。 业务场景 我们基于门店...
ElasticSearch-Kafka-RabbitMQ
weixin_73241486的博客
04-04 1585
Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎， 每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。Kafka是分布式发布-订阅消息系统是一个可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。组件:主题(Topic)：Kafka主题是一堆或一组消息。生产者(Producer)：在Kafka，生产者发布通信以及向Kafka主题发布消息。消费者(Consumer)：Kafka消费者订阅了一个主题，并且还从主题中读取和处理消息。
我在鲲鹏920上压测时发现，查询es比较耗时，但es和应用的内存和CPU都不高，es中查询队列也没有堆积，怀疑是通讯方面耗时比较多，elasticsearch7.10 RestHighLevelClient怎么设置连接池
最新发布
03-12
好的，我现在需要帮助用户解决他们在鲲鹏920服务器上压测时遇到的Elasticsearch查询耗时问题。用户已经排除了内存和CPU的问题，ES的查询队列也没有堆积，怀疑是通讯方面的延迟，特别是想通过设置RestHighLevelClient...
全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）
skvjw的博客
09-22 5895
缓存是一种存储机制，用于临时存储经常访问的数据，以减少数据获取的延迟和降低数据库或后端服务的负载。缓存可以存在于客户端（如浏览器缓存）、服务器端（如内存缓存）或分布式缓存系统中。
一种CPU占用过高的故障定位分析方法
01-09
1.前言      CPU占用过高是LINUX服务器出现常见的一种故障，也是程序员线上排查错误必须掌握的技能，我们经常需要找出相应的应用程序并快速地定位程序中的具体代码行数，本文将介绍一种CPU占用过高的一种处理思路，文中采用四步法进行定位，从应用程序的进程到具体应用程序的名字再到应用程序的线程最后定位到具体应用程序的行数，从整体到局部，最后定位到具体代码，为读者提供了一种排查故障的思路和方法。 2. 测试类编写       编写测试类，模拟占用CPU过高的程序，具体程序代码如下： public class TopTest { public static void main(
探究 | Elasticsearch CPU高排查思路
热门推荐
铭毅天下Elasticsearch
04-10 2万+
一、可能导致ES CPU高的原因： 1、复杂的query查询 举例：我这边出现过200个组合wildcard query导致集群down掉的情况； 2、有大量的reindex操作 3、ES版本较低 二、排查思路 2.1、业务场景排查 问自己几个问题？ - 1）集群中数据类型是怎么样的？ - 2）集群中有多少数据？ - 3）集群中有多少节点数、分片数？ - 4）...
ES集群CPU占用高问题总结
xiaohuangren_123的博客
03-16 3769
es
Skywalking对应的ES的CPU很高的问题
weixin_45145848的博客
12-25 2806
结论 原因1：ES的新生代配置的太小，yong gc频率很高， 1s一次yonggc 解决方案：手动设置新生代、老年代比例 -XX:NewRatio=1 原因2：ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案：对skywalking对应的index添加如下配置 "index.merge.scheduler.max_thread_count" : "1", "in...
ES--解决CPU使用率升高
IT利刃出鞘的博客
12-15 3125
本文介绍如何解决ES导致的CPU使用率飙升的问题。
Elasitcsearch CPU 使用率突然飙升，怎么办？
铭毅天下Elasticsearch
02-07 1万+
1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第二篇，主要探讨：Elasitcsearch CPU 使用率突然飙升，怎么办？2、Elast...
关于es集群cpu较之前提升分析
zcmao12的博客
03-25 598
2024年3月的某一天开始，生产环境ES集群CPU使用率较之前出现了明显升高的现象，峰值涨了10%~20%左右。期间可以看得到，es的读写较之前没有什么波动。
ES集群服务器CPU负载瞬间飚高分析
weixin_34240657的博客
08-14 1562
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch的cpu使用率达到100%的原因以及解决方案
m0_65787443的博客
02-13 5962
1.肉眼清晰可见es进程cpu使用率竟然达到了197%，纳尼，这是怎么肥四？这个奇怪的kswapd0是个什么东东？莫非这就是传说中的被挖矿了？ 2.于是利用一下这行命令查看了一下，发现了kswapd0，于是发现事情不简单啊 3.发现了两个奇怪的ip地址 4.纳尼，这两个地址居然来自荷兰，什么鬼？上网搜索了了解了一番，基本可以断定机子被人挖矿了 5.然后查看了一下linux上的定时任务，注意后面几个rsync，上面图片中出现过 6.于是打开了es文件，我去这不是上面图片中的定时任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值