压测ES-cpu高解决方案

最新推荐文章于 2025-04-30 14:30:00 发布
原创 最新推荐文章于 2025-04-30 14:30:00 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch

本文讲述了如何通过排查并优化数据库查询语句，解决RPC接口压测中CPU占用过高和带宽过大的问题，从最初返回900条数据降至27条，显著降低了CPU使用率和带宽需求。

压测rpc接口，100并发压测es-cpu 100%-4c，带宽80M。

带宽高是因为返回数据多，cpu高是因为有大量复杂计算。

经过研发排查，查数据时候加了一个or条件，导致本来查27条返回了900条，

导致带宽高。

经过优化查询语句，cpu也降下来了。

【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.3.1单节点安装（Docker与手动部署）
kngines
02-28 1476
【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.3.1单节点安装（Docker与手动部署）
【实战ES】实战 Elasticsearch：快速上手与深度实践-4.3.2 跨集群同步（CCR）实战指南
kngines
03-10 1257
【实战ES】实战 Elasticsearch：快速上手与深度实践-4.3.2 跨集群同步（CCR）实战指南
记elasticsearch CPU负载100%问题
superDE009的博客
01-31 4838
elasticsearch CPU100%负载问题解决。文件上传的问题。logtextstructurefinder
Elasticsearch-高CPU优化
NCS123456的博客
06-21 2206
Elasticsearch使用线程池管理CPU资源，用于并发操作。如果某个节点的CPU使用率很高，可以使用该节点的热线程API（hot_threads）来检查节点上运行的资源密集型线程。如图所示，查询请求量的波动与集群最大CPU使用率是基本吻合的。确保对于节点上已配置的每个 GB的内存，将分片数量保持在 20 以下，如果某个节点拥有 30GB 的堆内存，那其最多可有 600 个分片。查看查询/写请求量，分析是否cpu高和查询量升高或者写入量升高导致的。是操作系统层面的cpu消耗，不是我们重点优化对象。
Skywalking对应的ES的CPU很高的问题
weixin_45145848的博客
12-25 2878
结论 原因1：ES的新生代配置的太小，yong gc频率很高， 1s一次yonggc 解决方案：手动设置新生代、老年代比例 -XX:NewRatio=1 原因2：ES的索引没有配置为高性能写模式( 这个配置立杆见影 ) 解决方案：对skywalking对应的index添加如下配置 "index.merge.scheduler.max_thread_count" : "1", "in...
Elasticsearch专栏-8.es读写性能及优化
zjun1001的博客
05-13 7687
es读写性能及优化
es 单个节点cpu过高
qq_35640866的博客
01-08 625
是因为节点没有做fullgc，导致jvm中引用增多没有释放，会导致cpu使用率升高。后台手动执行fullgc后，节点cpu恢复正常。建议对集群其他节点也做下fullgc。观察这个节点的jvm使用率比较高，怀疑是jvm内存没释放导致内存寻址效率低，引起cpu过高。es 单个节点cpu一直持续很高，其它节点cpu不高。解决方法：手动执行fullgc，使用jmap分析线程jvm。
ES7.5升级7.17后在写多读少场景下CPU、IO飙升
qq_33999844的博客
09-29 2419
ES PAAS管理的集群升级了100+，从7.5升级到7.17 （保证每个大版本最终仅维护一个小版本集群），由于业务使用差异大，也出了不少问题，前面的文章也有提到过Integer类型字段使用terms查询效率低的情况...
ES集群压测工具Rally离线压测方法以及优化建议
李姓门徒
01-15 2288
整理es的压测方法和一些优化建议，以及日常使用的一些容量容量模型
高并发压测第3小时：面试官质疑线程池设计，P7技术面杀器现场重构解决方案
最新发布
Ared
04-30 922
在高并发压测的第三小时，面试官突然质疑面试者的线程池设计，指责其在高负载下可能引发资源耗尽问题。面试者作为一位精通JVM调优的应届生，迅速反应，现场使用Visitor模式重构代码，并结合CompletableFuture优化任务调度，成功化解危机。
我在鲲鹏920上压测时发现，查询es比较耗时，但es和应用的内存和CPU都不高，es中查询队列也没有堆积，怀疑是通讯方面耗时比较多，elasticsearch7.10 RestHighLevelClient怎么设置连接池
03-12
好的，我现在需要帮助用户解决他们在鲲鹏920服务器上压测时遇到的Elasticsearch查询耗时问题。用户已经排除了内存和CPU的问题，ES的查询队列也没有堆积，怀疑是通讯方面的延迟，特别是想通过设置RestHighLevelClient...
一种CPU占用过高的故障定位分析方法
01-09
1.前言      CPU占用过高是LINUX服务器出现常见的一种故障，也是程序员线上排查错误必须掌握的技能，我们经常需要找出相应的应用程序并快速地定位程序中的具体代码行数，本文将介绍一种CPU占用过高的一种处理思路，文中采用四步法进行定位，从应用程序的进程到具体应用程序的名字再到应用程序的线程最后定位到具体应用程序的行数，从整体到局部，最后定位到具体代码，为读者提供了一种排查故障的思路和方法。 2. 测试类编写       编写测试类，模拟占用CPU过高的程序，具体程序代码如下： public class TopTest { public static void main(
探究 | Elasticsearch CPU高排查思路
热门推荐
铭毅天下Elasticsearch
04-10 2万+
一、可能导致ES CPU高的原因： 1、复杂的query查询 举例：我这边出现过200个组合wildcard query导致集群down掉的情况； 2、有大量的reindex操作 3、ES版本较低 二、排查思路 2.1、业务场景排查 问自己几个问题？ - 1）集群中数据类型是怎么样的？ - 2）集群中有多少数据？ - 3）集群中有多少节点数、分片数？ - 4）...
es服务器的cpu压力过大的调试
寒夜
03-23 3296
问题简述   最近观察到es集群的压力比较大。cpu使用经常报警，cpu使用超过90%时间持续3分钟会报警。 于是想要针对性的排查一下问题。 确认一下目前的cpu压力是否是一种因为请求量过大导致的正常压力。 评价现有的cpu压力是一个什么样的状态，是否需要进行扩容来减轻压力。 过程 1. 机器的配置梳理 机器的配置为16+64G+6Tssd的服务器 1.查看cpu的基本信息 lscpu Architecture: x86_64 CPU op-mode(s): 32-bit
再谈elasticsearch 高cpu问题
布道
09-28 1万+
首先要阐述一个观点，任何技术都是为解决某一个领域的问题而存在的，我们在使用它的时候，尽可能使用它的优势（亮点），去发挥它应具备的业务价值。es在很多公司应用非常广泛，它已经成为玩大数据的必备的技能，在之前的章节我吐槽过es写方面的问题，今天将吐槽下es查询-terms语法的那些坑，这里探讨两点：一个是多terms并发带来高CPU，另一个是terms使用不当会导致bug。 业务场景 我们基于门店...
ES--解决CPU使用率升高
IT利刃出鞘的博客
12-15 3376
本文介绍如何解决ES导致的CPU使用率飙升的问题。
ES集群CPU占用高问题总结
xiaohuangren_123的博客
03-16 3805
es
Elasitcsearch CPU 使用率突然飙升，怎么办？
铭毅天下Elasticsearch
02-07 1万+
1、引言本系列文章介绍如何修复 Elasticsearch 集群的常见错误和问题。这是系列文章的第二篇，主要探讨：Elasitcsearch CPU 使用率突然飙升，怎么办？2、Elast...
关于es集群cpu较之前提升分析
zcmao12的博客
03-25 653
2024年3月的某一天开始，生产环境ES集群CPU使用率较之前出现了明显升高的现象，峰值涨了10%~20%左右。期间可以看得到，es的读写较之前没有什么波动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值