ES集群节点下线，Java API TCP连接写入数据异常

ES集群节点下线导致的TCP连接异常及性能下降问题
最新推荐文章于 2025-08-05 18:27:15 发布
原创 最新推荐文章于 2025-08-05 18:27:15 发布 · 721 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#es

当一个6节点的ES集群因一个节点硬盘故障被下线后，线上运行任务时间显著增加。分析发现，尽管集群仍能运行，但由于默认分片数设置不合理，导致部分节点负担加重，TCP连接数异常。调整默认分片数并未解决问题，通过监控和日志排查，最终发现是客户端连接所有配置节点，包括已下线节点，导致长时间重试和连接分配异常。移除下线节点配置后，性能恢复正常。此问题揭示了理解组件工作原理和正确排查方向的重要性。

ES集群周六的时候因一个节点硬盘故障（新加入的三个节点，硬盘是比较新的产品出现了BUG），运维做了下线处理
按说一个6节点的ES集群，只是下线了一个节点，不应该会有特别大的影响（少了一个节点，分片少了一个写数少1/6左右的时间属于正常范围）
但是出现了线上跑数任务只要跟写ES有关系的时间都翻了好几倍，整个流程慢了9H
图一是正常的情况 图二是异常情况
图一
图二
15m 34s -> 55m 0s ↑ 40min
9m 31s -> 2h 3m 36s ↑ 114min
5m 59s -> 36m 11s ↑ 31min
59m 24s -> 2h 39m 27s ↑ 158min

通过小米监控发现其中某一台的负载比其它的都高
在这里插入图片描述
于是XX同事分析是因为之前6台节点时设置的默认分片数为6个
现在只剩5台节点，其中一台节点要被分配两个主分片以及两台节点会被分配到3个分片or副本
于是他把默认默认分片改为5个

但是我认为即便是五个节点有6个分片对于我们这个集群来说也不应该造成这么大的压力
并且除此之外集群的TCP连接数也比较异常
其中旧的三台连接数比正常的时候多了一倍，第五台连接数差不多，第六台连接数少了一半（第五第六台是与下线的那个节点同批加入的相同硬件的机器）

最低0.47元/天 解锁文章
ES节点自主选择
11-17
es节点选择详解 d
java连接ES集群报错 NoNodeAvailableException[None of the configured nodes are available
weixin_42022134的博客
04-27 865
首先检查client 连接里面的集群名字有没有写错 要和elasticsearch.yml中配置的一致 Java连接的端口号是9300 将elasticsearch.yml中的network.host改为 0.0.0.0 这些修改后可能会出现另外一个错误 Exception in thread “Thread-1” java.lang.NoSuchMethodError: io.netty.b...
ESFramework介绍之（11）－－ Tcp连接池管理器
weixin_34092370的博客
03-16 146
    上文已经讲到，Tcp连接池管理器为我们的应用进行了很多复杂的管理，比如功能服务器的调度（实现FS的负载均衡）、连接池的动态添加/移除、控制每个连接池的相关参数在UI上的显示等，并且连接池管理器与单个连接池拥有一样的接口ITcpPool。我们先回顾一下这个接口：   1     public interface ITcpPool 2     { 3         RentStreamRe...
ES（Elasticsearch）进程掉线（节点脱离集群）问题
最新发布
weixin_43949256的博客
08-05 1613
ES（Elasticsearch）进程掉线（节点脱离集群）是常见问题，排查需要系统性地检查多个方面。：先查网络与资源，再看日志与配置，最后分析分片状态。保持集群版本一致和定期维护是预防关键！通过以上步骤，90%的掉线问题可定位。
生产es所有节点全部掉线 排查
weixin_59489713的博客
08-28 500
查看message日志发现 内存溢出。生产es所有节点全部掉线。清理buff/cache。把es内存的内容写入磁盘。
ES集群运维——节点下线和数据转移
DerickQin的博客
07-06 2116
集群运维——集群内数据移动   参考文章:https://blog.youkuaiyun.com/hereiskxm/article/details/47664999   主节点下线，首先修改最小的节点数；   主要是数据节点下线，数据节点下线   节点下线的流程如下：   步骤一：首先确定节点的功能属性；   到底是数据节点，还是主节点，还是负载均衡节点；还是多功能的；   步骤二：查看目标节点的数据分片； curl -XGET ‘localhost:9200/_cat/shards?pretty=true&
集群恢复，当节点离线导致分片状态为UNASSIGNED时，如何进行分片重分配？ 当出现Elasticsearch bulk写入性能瓶颈时，可以从哪些方面进行优化
weixin_45762066的博客
05-27 454
建议优化顺序：客户端参数 → 索引配置 → 硬件升级 → 架构调整。二、Bulk写入性能优化方案。一、集群分片重分配解决方案。
ElasticSearch学习篇5_《Elasticsearch源码解读与优化实战》张超-读书笔记
xiaosi的博客
02-16 1425
1、初学者牵强理解，ES的数据表示形式与传统的关系型数据库类比，indices（相当于数据库）、types（相当于表）、fileds（相当于字段）、documents（相当于行数据），后续更新的版本可能会删除types的概念，直接一个indeices下对应documents 2、倒排索引：采用Lucene倒排作为底层，这种结构适用于快速的全文搜索。实现原理：为了创建倒排索引，首先需要将文档拆分为独立的词条tokens，然后创建一个包含所有不重复的词条的**排序列表**，然后列出每个词条出现在哪个文档里面。
MQ - 14 集群篇_如何构建分布式的消息队列集群（上）
热门推荐
小工匠
09-21 1万+
从技术上看，设计实现集群化的消息队列主要包含节点发现、节点探活、元数据存储、集群管理四个方面。接下来我们将围绕着这四个方面，来看一下具体是怎么思考、怎么实现集群的。集群构建的思路分为有状态服务和无状态服务，两种类型服务的构建思路是不一样的。有状态服务需要解决元数据存储、节点发现、节点探活、主节点选举等四部分。元数据存储主要有依赖第三方组件实现和集群内自定义实现元数据存储两个思路。第三方组件主要有 ZooKeeper、etcd 等，依赖第三方组件是当前主流的选择，因为其实现较为简单，前期稳定性较高。
Java真实面试题
Hardy Army的博客
05-22 1776
蓝绿部署（Blue-Green Deployment）是一种减少系统停机时间和部署风险的策略，它涉及使用两个生产环境，分别称为“蓝色环境”和“绿色环境”。每个环境都拥有自己的硬件或虚拟机资源，包括服务器、数据库、存储等，并且两个环境都是完全配置好的，可以独立运行。蓝绿部署的步骤通常包括准备阶段：开发人员对应用进行修改和测试，准备新版本的应用。与此同时，两个生产环境（蓝色和绿色）都处于活跃状态，其中之一处理所有生产流量。部署新版本。
ES集群节点掉线故障排查
Lakers_KobeBryant的专栏
11-19 4561
# man mpstat CPU Processor number. The keyword all indicates that statistics are calculated as averages among all processors. %usr Show the percentage of CPU utilization that occurred while executing at the user level (application). %nice .
elasticsearch 分片及集群节点下线
qq_27275851的博客
01-04 1262
分片(shard): 因为ES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在必要的时候对分片数据进行再平衡分配, 所以用户基本上不用担心分片的处理细节，一个分片默认最大文档数量是20亿. ES默认为一个索引创建5个主分片，数据将尽可能平均分配到每一个分片。 副本(replica) 每一个主分片默认创建一个副本，副本数量可动态修改。 副本为主分片备份 对于分布式搜索引擎来说, 分片及副本的分配将是高可用及快速搜索响应的设计核心.主
es的链接老是断开怎么办_ESFramework 经验分享 －－ 故障排查：批量心跳超时掉线...
weixin_40008946的博客
12-21 1508
心跳超时指的是：针对某个在线的客户端(TCP连接)，ESFramework服务端在指定的时间内(默认为30秒)没有收到来自该客户端的任何消息，则认为该客户端已经掉线。为什么需要心跳机制了？因为针对某些客户端掉线(可能是因为网络断开、或客户端程序退出)，服务端不能立即感受到(有的可能需要过很长的时间才能感受到)，所以，需要引入心跳机制，让服务端尽可能早地发现客户端已经不在线了。关于心跳机制，更详细的...
ES缩容下线和上线（排除和加入单个节点数据方法）
一只小白
03-09 1677
1、ES集群单节点单实例数据排除方法 PUT _cluster/settings { "persistent": { "cluster": { "routing": { "allocation.exclude": { "_ip":"192.168.168.101" } } } } } PUT _cluster/settings { "transient": { "cluster": {
java无法连接ElasticSearch，连接超时异常问题——小白指南
z487943318的博客
03-26 1930
用比较简单的方式解决了java连接es失败的问题，操作简单适合初学者
Elastic Search使用java代码连接出错的问题及其解决方式：java.net.UnknowHostException:http://127.0.0.1
qq_39941165的博客
12-24 3330
Elastic Search使用java代码连接出错的问题及其解决方式 昨天将elastic Search 以及他的可视化界面管理工具 head 安装好了之后，今天便进入了 Elastic Search 整合 java 代码的操作，首先是连接指定地址、端口的es。 连接指定地址以及指定端口的es 代码如下： final String Host = "http...
Elasticsearch 初始化客户端 Java（已解决es链接偶尔断开问题）
Giggle1994的博客
11-10 2612
一.前言 目前所使用的皆基于Elasticsearch7.6.X版本，使用的客户端连接是官方推荐的Java High Level REST Client；其他连接方式，如需介绍，后面再加入。 二.SpringBoot集成 1.引入pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter...
Elasticsearch平滑下线节点
m0_54852350的博客
04-02 1213
作者：SUNNY 时间：2018-06-04 背景： 对于某些节点要进行下线处理 节点的数据盘功能正常 集群的分片分配策略不会限制分片的迁移 操作步骤： data-node节点 什么情况下可以平滑下线？ 下线操作不会造成分片丢失，不会造成分片异常，不会丢失数据 操作步骤： #start #步骤1：将节点从集群路由策略中排除 curl -XPUT http://0.0.0.0:9200/_cluster/settings?pretty -d '{"transient":{"cluster.routing.a
ES踩坑——提高写入性能之集群负载均衡
攻城狮Kevin
05-18 2669
还是往ES集群写入耗时太长，速率太慢的问题， 当文档id，即_id自定义指定的情况下，由于每条文档往ES写入时，会对_id进行hash分配其写到哪个节点的主分片上， 这样有可能出现写偏了的情况，即集群某台节点的负载特别高，所以一般建议_id让ES自动设置。 当集群某台节点负载特别高时，集群会自动进行负载均衡，将某个数据量异常大的主分片数据迁移至其他分片，这个负载均衡过程是很耗集群写入性能的， 当多份数据往集群写入时，有可能因为集群的负载均衡占用太多资源，导致写入速率过慢。 这种情况可以设置某.
掌握ElasticSearch 6.x集群连接与Java API开发
资源摘要信息:"ElasticSearch 6.x 连接集群方式及Java API代码 新增ElasticSearch二次开发工作" 知识点一：Elasticsearch 基础概念与版本特性 Elasticsearch 是一个基于 Lucene 的开源搜索引擎。它提供了一个分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值