Elasticsearch的[monitor.jvm]垃圾回收日志

最新推荐文章于 2025-09-14 14:01:13 发布
原创 最新推荐文章于 2025-09-14 14:01:13 发布 · 1.5w 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Elasticsearch在高负载下JVM的垃圾回收问题，特别是[monitor.jvm]日志中记录的INFO、WARN和DEBUG级别事件。通过实例分析了young、old GC的持续时间和频率，强调了长时间的old GC可能导致节点被踢出集群，甚至数据丢失。解决方案包括调整heap内存分配和理解Elasticsearch的内部监控参数，以确保集群的稳定性和数据安全性。

     Elasticsearch最近刚刚更名为Elastic，1.5.2 版本也已经出来了，只是Kibana、Sense等一大票工具不再免费了 (具体价格可以参见 - Subscriptions)，让人有点蛋蛋的桑心！呵呵，毕竟是个好项目，人家也要挣钱去养家糊口，希望之后的版本能够更稳定，特别是在系统升级的稳定性方面。最近刚将生产环境由1.2.2升级到1.4.4，相对上一次1.1.1到1.2.2，这次总体还是平稳的，但还是有些意料之外的问题 - checksum check。


       

       Elasticsearch是构建在Java之上的、开源的、分布式搜索和分析引擎，因此JVM的性能对Elasticsearch性能至关重要。在负载超出节点所能承受的情况下，JVM垃圾内存回收的“Stop-The-World”会造成节点被踢出Elasticsearch集群。如果只是偶尔发生，E

最低0.47元/天 解锁文章
JVM Monitor
11-07
用于检测jvm的使用情况，有助于优化code
Elasticsearch中关于JVM和垃圾回收的介绍
lucasma的博客
12-23 1262
关于堆内存大小的设置 ES官方建议JVM中设置的最大堆内存大小，不超过节点RAM的一半，最大不超过32GB,并且Xms和Xmx相等。我们一个个说明。 首先为啥建议Xms和Xmx相等，这其实是个约定的配置了。并不仅限于ES，很多基于JAVA的服务在生产环境中都是建议这个配置。核心的原因在于减少JVM的时间开销，因为当Xms不够用时，JVM会继续想OS申请内存，这必然会带来额外的时间开销。如果你预测你的应用最终差不多用到Xmx，把这两个值设置成一样是个比较好的选择。 不超过系统RAM的一半，这个主要是出于文件系
Elasticsearch面试精讲 Day 18：内存管理与JVM调优
最新发布
在未来等你的专栏
09-14 1031
堆内与堆外内存的分工与协作G1GC工作原理与关键参数配置fielddata风险识别与防控高频面试题的深度解析电商搜索系统的实战优化案例掌握这些内容，不仅能从容应对面试提问，更能指导你在实际项目中构建稳定可靠的搜索服务。下一天我们将进入【Elasticsearch性能调优】系列的第四篇——Day 19：磁盘IO与存储优化，深入探讨ES的文件系统选择、索引分段合并、段缓存控制等关键技术，敬请期待！
JVM中的monitor
落雨碎江南
07-22 332
JVM中的monitor
docker启动elasticsearch失败--jvm内存不足
Gert
04-23 738
docker安装完elasticsearch后启动失败 docker run -d -p 9200:9200 -p 9300:9300 -v /opt/myapp/elasticsearch/config/elasticsearch.yml:/home/es/config/elasticsearch.yml -v /opt/myapp/elasticsearch/config/jvm.opt...
从es源码发现JvmStats信息采集
weixin_33997389的博客
11-03 279
开篇  在es的jvm监控当中，通过JMX能够采集的指标包括JVM堆空间、JVM非堆空间、JVM新生区幸存区老年区空间、JVM的GC耗时、线程数。获取这些指标的核心方法都是通过JMX提供的接口进行实现。  在es的源码当中JvmStats的类，内部有具体的代码实现，有兴趣的可以看看。 获取堆和非堆空间 Me...
elasticsearch中的优先级线程池
不说话装高手
08-02 1697
es中通过一个优先级的线程池PrioritizedEsThreadPoolExecutor来根据线程的优先级来控制优先顺序。 类的继承关系非常的清楚，继承自EsThreadPoolExecutor。 PrioritizedEsThreadPoolExecutor中的线程任务优先级先后关系通过一个队列来实现，当两个线程的优先级一样的时候根据FIFO的原则来确定线程任务的前后顺序。   当...
Elasticsearch垃圾回收与查询基准测试全解析
1. **开启Elasticsearch中垃圾回收器的日志记录**：在默认的`elasticsearch.yml`配置文件中，有如下默认注释掉的配置项： ```plaintext monitor.jvm.gc.young.warn: 1000ms monitor.jvm.gc.young.info: 700ms ...
一文掌握并应用Elasticsearch中的GC实现垃圾日志处理
大JAVA解决方案
07-06 1622
如果你关注过 Elasticsearch 的日志，可能会看到如下类似的内容： [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last [2.3s] [2018-06-30T17:57:29,020][INFO ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][
Elasticsearch垃圾回收与查询性能优化全解析
### Elasticsearch垃圾回收与查询性能优化全解析 在使用Elasticsearch时，垃圾回收问题和查询性能优化是两个关键方面。垃圾回收问题可能会导致系统...- **开启Elasticsearch垃圾回收日志**：在默认的`elasticsearch.y
十、JVM调优实战——ES集群服务不稳定
lovesman的博客
08-03 1239
1、问题背景 线上环境有3台8G内存的服务器搭建的ES集群系统。ES采用CMS垃圾回收器。 2、问题现象 （1）ES查询服务偶尔会出现超时现象，日志中有“node of configured nodes were available”； （2）一段时间后，ES部分节点会挂掉，整个ES集群的状态由绿色变成黄色； （3）重启后，ES恢复正常，运行一段时间后会出现（2）的现象。 3、问题分析 （1）ES集群提供的查询服务，非常消耗内存，所以首先想到的就是8G内存无法支撑我们系统千万级别的数据查询。 （2）登陆系统
详解 Elasticsearch 使用问题收集
PJ码匠人
09-02 1620
项目场景： 有三台机器组成的集群，每半小时从第三方拉去数据到集群节点。大概有100个索引。现在数据量也不大每个索引就不到10G的数据。最近总出现节点脱机，或者是分片不工作的情况。 问题描述： [2021-09-02T05:46:19,297][WARN ][o.e.d.z.UnicastZenPing ] [node-50] failed to send ping to [{node-37}{kUAw2H4ATFiNf8aElLVTJw}{r_lZpbo2RLi7trJs57gjt...
elasticsearch入库错误：gc overhead导致数据节点脱离集群
weixin_34029949的博客
04-11 2482
2019独角兽企业重金招聘Python工程师标准>>> ...
elasticsearch 的日志gc
大JAVA解决方案
06-30 1535
[2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last [2.3s] [2018-06-30T17:57:29,020][INFO ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][old][228385][160772] duration [5s...
elasticsearch引起GC原因分析
11-27 1101
​​​​​​​elasticsearch引起GC原因分析
日志采集elk
lh87270202的博客
09-09 468
一、elasticsearch安装 1、下载elasticsearch https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-7-0 2、修改配置文件 /usr/local/elk/elasticsearch-7.7.0/config/elasticsearch.yml network.host: 192.168.42.103 ----对应本机Ip node.name: node-1 cluster.initial_mast
聊聊Elasticsearch的MonitorService
weixin_34124939的博客
05-26 889
序 本文主要研究一下Elasticsearch的MonitorService MonitorService elasticsearch-7.0.1/server/src/main/java/org/elasticsearch/monitor/MonitorService.java public class MonitorService extends AbstractLifecycleCompon...
elasticsearch开启gc日志
usejava space
01-17 4343
在jvm.properties中gc日志相关配置默认是注释掉的，放开对应配置项即可 ## GC logging -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps #-XX:+PrintClassHistogram #-XX:+PrintTenuringDistribution #-XX:+PrintGCAppli...
解决elasticsearch client的maven中httpclient版本冲突的问题
爱情三脚猫的专栏
03-19 6732
先抛问题，报错信息如下： ClassNotFoundException: org.apache.http.conn.util.PublicSuffixMatcherLoader`java.lang.NoClassDefFoundError:` org/apache/http/conn/util/PublicSuffixMatcherLoader at org.apache.http.impl.n...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值