ES集群节点下线，Java API TCP连接写入数据异常

最新推荐文章于 2025-04-23 15:39:38 发布
最新推荐文章于 2025-04-23 15:39:38 发布
阅读量685 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Elasticsearch 文章标签： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SPlus_SS/article/details/112972435
当一个6节点的ES集群因一个节点硬盘故障被下线后，线上运行任务时间显著增加。分析发现，尽管集群仍能运行，但由于默认分片数设置不合理，导致部分节点负担加重，TCP连接数异常。调整默认分片数并未解决问题，通过监控和日志排查，最终发现是客户端连接所有配置节点，包括已下线节点，导致长时间重试和连接分配异常。移除下线节点配置后，性能恢复正常。此问题揭示了理解组件工作原理和正确排查方向的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ES集群周六的时候因一个节点硬盘故障（新加入的三个节点，硬盘是比较新的产品出现了BUG），运维做了下线处理
按说一个6节点的ES集群，只是下线了一个节点，不应该会有特别大的影响（少了一个节点，分片少了一个写数少1/6左右的时间属于正常范围）
但是出现了线上跑数任务只要跟写ES有关系的时间都翻了好几倍，整个流程慢了9H
图一是正常的情况 图二是异常情况
图一
图二
15m 34s -> 55m 0s ↑ 40min
9m 31s -> 2h 3m 36s ↑ 114min
5m 59s -> 36m 11s ↑ 31min
59m 24s -> 2h 39m 27s ↑ 158min

通过小米监控发现其中某一台的负载比其它的都高
在这里插入图片描述
于是XX同事分析是因为之前6台节点时设置的默认分片数为6个
现在只剩5台节点，其中一台节点要被分配两个主分片以及两台节点会被分配到3个分片or副本
于是他把默认默认分片改为5个

但是我认为即便是五个节点有6个分片对于我们这个集群来说也不应该造成这么大的压力
并且除此之外集群的TCP连接数也比较异常

最低0.47元/天 解锁文章
MQ - 14 集群篇_如何构建分布式的消息队列集群（上）
小工匠
09-21 1万+
从技术上看，设计实现集群化的消息队列主要包含节点发现、节点探活、元数据存储、集群管理四个方面。接下来我们将围绕着这四个方面，来看一下具体是怎么思考、怎么实现集群的。集群构建的思路分为有状态服务和无状态服务，两种类型服务的构建思路是不一样的。有状态服务需要解决元数据存储、节点发现、节点探活、主节点选举等四部分。元数据存储主要有依赖第三方组件实现和集群内自定义实现元数据存储两个思路。第三方组件主要有 ZooKeeper、etcd 等，依赖第三方组件是当前主流的选择，因为其实现较为简单，前期稳定性较高。
es的链接老是断开怎么办_ESFramework 经验分享 －－ 故障排查：批量心跳超时掉线...
weixin_40008946的博客
12-21 1475
心跳超时指的是：针对某个在线的客户端(TCP连接)，ESFramework服务端在指定的时间内(默认为30秒)没有收到来自该客户端的任何消息，则认为该客户端已经掉线。为什么需要心跳机制了？因为针对某些客户端掉线(可能是因为网络断开、或客户端程序退出)，服务端不能立即感受到(有的可能需要过很长的时间才能感受到)，所以，需要引入心跳机制，让服务端尽可能早地发现客户端已经不在线了。关于心跳机制，更详细的...
java连接ES集群报错 NoNodeAvailableException[None of the configured nodes are available
weixin_42022134的博客
04-27 794
首先检查client 连接里面的集群名字有没有写错 要和elasticsearch.yml中配置的一致 Java连接的端口号是9300 将elasticsearch.yml中的network.host改为 0.0.0.0 这些修改后可能会出现另外一个错误 Exception in thread “Thread-1” java.lang.NoSuchMethodError: io.netty.b...
ESFramework介绍之（11）－－ Tcp连接池管理器
weixin_34092370的博客
03-16 126
    上文已经讲到，Tcp连接池管理器为我们的应用进行了很多复杂的管理，比如功能服务器的调度（实现FS的负载均衡）、连接池的动态添加/移除、控制每个连接池的相关参数在UI上的显示等，并且连接池管理器与单个连接池拥有一样的接口ITcpPool。我们先回顾一下这个接口：   1     public interface ITcpPool 2     { 3         RentStreamRe...
Elasticsearch 集群节点下线方案
最新发布
菜鸟、上路
04-23 461
步骤操作确认节点v"迁移数据监控迁移v"停止节点或检查健康v"清理信息📌建议：如果你的集群只有 1-3 个节点，建议谨慎操作，确保至少有 2 个 Master-Eligible 节点保持在线！
生产es所有节点全部掉线 排查
weixin_59489713的博客
08-28 461
查看message日志发现 内存溢出。生产es所有节点全部掉线。清理buff/cache。把es内存的内容写入磁盘。
ES集群运维——节点下线和数据转移
DerickQin的博客
07-06 2058
集群运维——集群内数据移动   参考文章:https://blog.youkuaiyun.com/hereiskxm/article/details/47664999   主节点下线，首先修改最小的节点数；   主要是数据节点下线，数据节点下线   节点下线的流程如下：   步骤一：首先确定节点的功能属性；   到底是数据节点，还是主节点，还是负载均衡节点；还是多功能的；   步骤二：查看目标节点的数据分片； curl -XGET ‘localhost:9200/_cat/shards?pretty=true&
ES集群节点掉线故障排查
Lakers_KobeBryant的专栏
11-19 4473
# man mpstat CPU Processor number. The keyword all indicates that statistics are calculated as averages among all processors. %usr Show the percentage of CPU utilization that occurred while executing at the user level (application). %nice .
ElasticSearch-Kafka-RabbitMQ
weixin_73241486的博客
04-04 1582
Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎， 每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。Kafka是分布式发布-订阅消息系统是一个可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。组件:主题(Topic)：Kafka主题是一堆或一组消息。生产者(Producer)：在Kafka，生产者发布通信以及向Kafka主题发布消息。消费者(Consumer)：Kafka消费者订阅了一个主题，并且还从主题中读取和处理消息。
ElasticSearch
wuqihawubito的博客
06-06 323
ElasticSearch ElasticSearch，简称ES ，是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据。本身的扩展性很好，可以扩展到上百台服务器，可以处理PB（1024TB）级别的数据，它的目的是通过简单的Restful API 来隐藏Lucene的复杂性 elasticSearch是一个搜索引擎框架，elastic是 有弹性的 的意思，所以使用 elasticSearch进行搜索时关键字不准确也一样可以搜到想要的数据 在我们使用Mysql的时候，如果我们想要搜索mysq
elasticsearch源码解析笔记
qq_36059306的博客
07-08 4598
1.2.3 集群状态 集群状态是全局信息，包括内容路由和配置信息，内容路由描述了哪个分片位于哪个节点 主节点负责维护集群状态，从数据节点接收更新，将这些更新广播到集群的其他节点，让每个节点上的集群状态保持最新。ES2.0之后，更新的集群状态是增量的并且是压缩过的。 1.2.4 集群扩容 当扩容集群，添加节点时，分片会均匀地分配到各个节点 分片分配过程中除了让节点间分片分配均匀，还要保证主副分片不在同一节点，避免单个节点故障引起数据丢失 疑问：副分片可以分配在同一个节点吗？？？？？？？ 当主节点出现异常，集群
elasticsearch 分片及集群节点下线
qq_27275851的博客
01-04 1199
分片(shard): 因为ES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在必要的时候对分片数据进行再平衡分配, 所以用户基本上不用担心分片的处理细节，一个分片默认最大文档数量是20亿. ES默认为一个索引创建5个主分片，数据将尽可能平均分配到每一个分片。 副本(replica) 每一个主分片默认创建一个副本，副本数量可动态修改。 副本为主分片备份 对于分布式搜索引擎来说, 分片及副本的分配将是高可用及快速搜索响应的设计核心.主
ES节点自主选择
11-17
es节点选择详解 d
ES缩容下线和上线（排除和加入单个节点数据方法）
一只小白
03-09 1628
1、ES集群单节点单实例数据排除方法 PUT _cluster/settings { "persistent": { "cluster": { "routing": { "allocation.exclude": { "_ip":"192.168.168.101" } } } } } PUT _cluster/settings { "transient": { "cluster": {
java无法连接ElasticSearch，连接超时异常问题——小白指南
z487943318的博客
03-26 1637
用比较简单的方式解决了java连接es失败的问题，操作简单适合初学者
Elastic Search使用java代码连接出错的问题及其解决方式：java.net.UnknowHostException:http://127.0.0.1
qq_39941165的博客
12-24 3289
Elastic Search使用java代码连接出错的问题及其解决方式 昨天将elastic Search 以及他的可视化界面管理工具 head 安装好了之后，今天便进入了 Elastic Search 整合 java 代码的操作，首先是连接指定地址、端口的es。 连接指定地址以及指定端口的es 代码如下： final String Host = "http...
Elasticsearch 初始化客户端 Java（已解决es链接偶尔断开问题）
Giggle1994的博客
11-10 2521
一.前言 目前所使用的皆基于Elasticsearch7.6.X版本，使用的客户端连接是官方推荐的Java High Level REST Client；其他连接方式，如需介绍，后面再加入。 二.SpringBoot集成 1.引入pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter...
Elasticsearch平滑下线节点
m0_54852350的博客
04-02 1190
作者：SUNNY 时间：2018-06-04 背景： 对于某些节点要进行下线处理 节点的数据盘功能正常 集群的分片分配策略不会限制分片的迁移 操作步骤： data-node节点 什么情况下可以平滑下线？ 下线操作不会造成分片丢失，不会造成分片异常，不会丢失数据 操作步骤： #start #步骤1：将节点从集群路由策略中排除 curl -XPUT http://0.0.0.0:9200/_cluster/settings?pretty -d '{"transient":{"cluster.routing.a
ES踩坑——提高写入性能之集群负载均衡
攻城狮Kevin
05-18 2628
还是往ES集群写入耗时太长，速率太慢的问题， 当文档id，即_id自定义指定的情况下，由于每条文档往ES写入时，会对_id进行hash分配其写到哪个节点的主分片上， 这样有可能出现写偏了的情况，即集群某台节点的负载特别高，所以一般建议_id让ES自动设置。 当集群某台节点负载特别高时，集群会自动进行负载均衡，将某个数据量异常大的主分片数据迁移至其他分片，这个负载均衡过程是很耗集群写入性能的， 当多份数据往集群写入时，有可能因为集群的负载均衡占用太多资源，导致写入速率过慢。 这种情况可以设置某.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值